02456 Dyb læring

2024/2025

Kursusinformation
Deep learning
Engelsk
5
Kandidat
Kurset udbydes som enkeltfag
Teknologisk specialisering (MSc), se flere
Teknologisk specialisering (MSc), Biomedical Engineering
Teknologisk specialisering (MSc), Business Analytics
Teknologisk specialisering (MSc), Bioinformatics and Systems Biology
Teknologisk specialisering (MSc), Technology Entrepreneurship
Teknologisk specialisering (MSc), Human-Centered Artificial Intelligence
Teknologisk specialisering (MSc), Earth and Space Physics and Engineering
Teknologisk specialisering (MSc), Autonomous Systems
Teknologisk specialisering (MSc), Mathematical Modelling and Computation
Teknologisk specialisering (MSc), Quantitative Biology and Disease Modelling
Generel retningskompetence (MSc), Business Analytics
Retningsspecifikt kursus (MSc), se flere
Retningsspecifikt kursus (MSc), Biomedical Engineering
Retningsspecifikt kursus (MSc), Bioinformatics and Systems Biology
Retningsspecifikt kursus (MSc), Mathematical Modelling and Computation
Retningsspecifikt kursus (MSc), Earth and Space Physics Engineering
Retningsspecifikt kursus (MSc), Business Analytics
Retningsspecifikt kursus (MSc), Quantitative Biology and Disease Modelling
Retningsspecifikt kursus (MSc), Human-Centered Artificial Intelligence
Retningsspecifikt kursus (MSc), Autonomous Systems
Polyteknisk grundlag (MSc), Technology Entreneurship
Tilvalgskursus (B En), IT og økonomi
Tilvalgskursus (B Eng), Softwareteknologi
Tilvalgskursus (B Eng), IT-elektronik
E2A (man 13-17)
Fra uge 1 til 8 vil kurset bestå af forelæsninger og øvelser. Fra uge 6 og indtil semesterets slutning vil fokus skifte til vejledt projektarbejde i grupper. Projektet skal præsenteres i form af en poster på den planlagte eksamensdato og afleveres som en rapport i konferencestil ved eksamensperiodens afslutning.
Campus Lyngby
Omvendt undervisning (videoforelæsninger), øvelser, obligatoriske opgaver med peer assessment, og studenterprojekt (1-5 in each group).
13-uger
E2A
Mundtlig eksamen og bedømmelse af rapport(er)
7-trins skala , ekstern censur
0245001005.­(02405/02402/02403/02409).­(02002/02631/02632/02633/02634) , Differentialregning (kæderegel for differentiation), basal lineær algebra, basal multivariat sandsynlighedsteori, basal statistik og maskinlæring (maksimum likelihood, Bayes, over- og underfitting, regularisering) og programmering i Python.
Minimum 20
Jes Frellsen , Lyngby Campus, Bygning 321, Tlf. (+45) 4525 3923 , jefr@dtu.dk
Ole Winther , Lyngby Campus, Bygning 321, Tlf. (+45) 4525 3895 , olwi@dtu.dk
01 Institut for Matematik og Computer Science
I studieplanlæggeren
Dette kursus giver den studerende en mulighed for at lave eller forberede et projekt som kan deltage i DTUs studenterkonference om bæredygtighed, klimateknologi og miljø (GRØN DYST). Se mere på http://www.groendyst.dtu.dk
Overordnede kursusmål
Maskinlæring fra naturlige signaler er forbedret betydeligt i de seneste år takket være dyb læring (DL). DL er den primære teknologi bag generativ AI for billeder og tekst. Forbedret billedgenkendelse fører til mere nøjagtig billedbaseret medicinsk diagnose. Forbedret talegenkendelse og behandling af naturligt sprog med DL vil føre til mange nye intelligente applikationer inden for sundhedspleje og IT. Mønstergenkendelse med DL i store datasæt vil give nye værktøjer til lægemiddelopdagelse, tilstandsmonitorering og mange andre databaserede applikationer.

Dette kursus give den studerende en detaljeret forståelse af dybe kunstige neurale netværk, deres træning, deres implementering på hurtige grafiske behandlingsenheder, deres begrænsninger og hvordan man formulerer læring i et bredt spektrum af scenerier. Disse inkluderer klassificering, regression, sekvenser og andre typer af struktureret input og output, samt ræsonnement i komplekse miljøer.
Læringsmål
En studerende, der fuldt ud har opfyldt kursets mål, vil kunne:
  • Demonstrere viden om maskinlæringsterminologi såsom likelihood funktion, maksimum likelihood, Bayesiansk inferens, fuldt-forbundne, foldnings-baserede, sekvens og Transformer neurale netværk, og error back propagation.
  • Forstå og forklar valg og begrænsninger af model for en given anvendelse.
  • Anvende og analysere resultater fra dybe neural netværk anvendt i øvelser og eget projektarbejde.
  • Planlægge, afgrænse og udførelse et anvendt eller metodeorienteret projekt i samarbejde med medstuderende og vejleder*.
  • Vurdere og opsummere projektresultater i relation til formål, metode og anvendt data*.
  • Udføre projektet og fortolke resultater ved brug af GPU beregningsværtøjer såsom PyTorch*.
  • Strukturere og skrive en endelig kort teknisk rapport indeholdende problemformulering, beskrivelse af metoder, eksperimenter, evaluering og konklusion*.
  • Organisere og præsentere projektresultater ved projektfremlæggelsen og i rapporten*.
  • Læse, vurdere og give feedback til arbejde af andre studerende.
  • * Hvis generativ AI anvendes i disse faser, skal det dokumenteres og kritisk vurderes. En tjekliste vil blive udleveret og skal afleveres som en del af rapporten.
Kursusindhold
Kursusplan uge 1-8:
1. Introduktion til statistisk maskinlæring, fuldt-forbundne neurale netværk (FFNN) og back-propagation. Del I gør det selv med papir og blyant.
2. Introduktion til statistisk maskinlæring, fuldt-forbundne neurael netværk (FFNN) og back-propagation. Del II gør det selv med NumPy.
3. Introduktion til statistisk maskinlæring, fuldt-forbundne neurale netværk (FFNN) og back-propagation. Del III PyTorch.
4. Foldnings-baseret neurale netværk (CNN).
5. Sekvensmodellering for tekstdata med Transformere.
6. Praktisk indføring i at få det til at virke på en data science case og værktøjer til beregning på grafiske beregning enheder (GPU).
7. Variationelle metoder til ikke-superviseret og semi-superviseret læring.
8. En introduktion til reinforcement læring.

Fra uge 6 og på fuld tid fra uge 9 vil resten af semesteret blive brugt på vejledt projektarbejde.
Litteraturhenvisninger
Ian Goodfellow, Yoshua Bengio and Aaron Courville. Deep learning. MIT Press, 2016.
https:/​/​www.deeplearningbook.org

Michael Nielsen. Neural networks and deep learning.
http:/​/​neuralnetworksanddeeplearning.com
Bemærkninger
Maskinlæring baseret på dyb læring står bag mange nylige fremskridt inden for generativ AI, talegenkendelse, billedklassificering og reinforcement learning. Disse udviklinger er primært drevet af tilgængeligheden af hurtige computere, en overflod af data og algoritmiske forbedringer i træning af neurale netværk. Man vil i de kommende år kunne forvente at disse metoder vil føre til tekniske fremskridt indenfor mange datadrevne områder.

Dyb læring og maskinlæring generelt oplever stor aktivitet både inden for akademiske kredse og industrien. Dette kursus vil give den studerende fundamentet til at anvende dyb læring i forskning og industri.

Dette er et kursus i maskinlæring med fokus på beregning og anvendelse. Projektet vil blive gennemført i samarbejde med forskere på DTU eller i en virksomhed, der baserer sig på maskinlæring.

Kurset er en del af fokusområdet Maskinlæring og Signalbehandling i masterprogrammet i Matematisk Modellering og Computing.
Sidst opdateret
02. maj, 2024