02456 Dyb læring

2020/2021

Kursusinformation
Deep learning
Engelsk
5
Kandidat
Kurset udbydes som enkeltfag
E2A (man 13-17)
Der vil være forelæsninger og øvelser i uge 1 til 8 og fra uge 6 også projektarbejde.
Campus Lyngby
Omvendt klasseværelse (videoforelæsninger, online quiz, peer grading, klassediskussioner), øvelser, studenterprojekter (1-3 deltager).
13-uger
E2A, F2A
Mundtlig eksamen og bedømmelse af rapport(er)
7-trins skala , ekstern censur
0245001005.­(02405/02402/02403/02409).­(02631/02632/02633/02634) , Differentialregning (kæderegel for differentiation), basal lineær algebra, basal multivariat sandsynlighedsteori, basal statistik og maskinlæring (maksimum likelihood, Bayes, over- og underfitting, regularisering) og programmering (primært Python eller PyTorch).
Minimum 20
Ole Winther , Lyngby Campus, Bygning 321, Tlf. (+45) 4525 3895 , olwi@dtu.dk
01 Institut for Matematik og Computer Science
I studieplanlæggeren
Dette kursus giver den studerende en mulighed for at lave eller forberede et projekt som kan deltage i DTUs studenterkonference om bæredygtighed, klimateknologi og miljø (GRØN DYST). Se mere på http://www.groendyst.dtu.dk
Overordnede kursusmål
Dyb læring (DL) har ændret computeres formåen til at fortolke naturlige signaler. Forbedret billedbehandling med DL har gjort selvkørende biler mulige og har gjort medicinsk billeddiagnostik mere præcis. Talegenkendelse og tekstanalyse med DL vil give os nye intelligente applikationer indenfor sundhedsområdet og IT. Mønstergenkendelse i store datasæt med DL leder i disse år til udvikling af værktøjer til opdagelse af ny medicin, systemovervågning og mange andre datadrevne anvendelser.

Formålet med kurset er at give den studerende en detaljeret forståelse for arkitekturer for og træning af dybe kunstige neurale netværk samt værktøjer til hurtig beregning på grafiske processeringsenheder (GPUer). Den studerende vil lære at at forstå begrænsninger og hvordan man formulerer læring i mange sammenhænge. Det inkluderer klassifikation, regression, sekvens- og andet struktureret data og reinforcement learning.
Læringsmål
En studerende, der fuldt ud har opfyldt kursets mål, vil kunne:
  • Demonstrere viden om maskinlæringsterminologi såsom likelihood funktion, maksimum likelihood, Bayesiansk inferens, feed-forward, convolutional og recurrent neural netværk og error back propagation.
  • Forstå og forklar valg og begrænsninger af model for en given anvendelse.
  • Anvende og analysere resultater fra dybe neural netværk anvendt i øvelser og eget projektarbejde.
  • Planlægge, afgrænse og udførelse et anvendt eller metodeorienteret projekt i samarbejde med medstuderende og vejleder.
  • Vurdere og opsummere projektresultater i relation til formål, metode og anvendt data.
  • Udføre projektet og fortolke resultater ved brug af GPU beregningsværtøjer såsom PyTorch.
  • Strukturere og skrive en endelig kort teknisk rapport indeholdende problemformulering, beskrivelse af metoder, eksperimenter, evaluering og konklusion.
  • Organisere og præsentere projektresultater ved projektfremlæggelsen og i rapporten.
  • Læse, vurdere og give feedback til arbejde af andre studerende.
Kursusindhold
Kursusplan uge 1-8:
1. Introduktion til statistisk maskinlæring, feed-forward neural netværk (FFNN) og back-propagation. Del I gør det selv med papir og blyant.
2. Introduktion til statistisk maskinlæring, feed-forward neural netværk (FFNN) og back-propagation. Del II gør det selv med NumPy.
3. Introduktion til statistisk maskinlæring, feed-forward neural netværk (FFNN) og back-propagation. Del III PyTorch.
4. Convolutional neural netværk (CNN), præsentation og valg af studenterprojekter.
5. Recurrent neurale netværk (RNN).
6. Praktisk indføring i at få det til at virke på en data science case og værktøjer til beregning på grafiske beregning enheder (GPU).
7. Variationelle metoder til ikke-superviseret og semi-superviseret læring.
8. En introduktion til reinforcement læring.

De resterende uger af semesteret bliver brugt på projektarbejde.
Litteraturhenvisninger
Ian Goodfellow, Yoshua Bengio and Aaron Courville, Deep learning, MIT Press, in preparation. Preprint http:/​/​www.deeplearningbook.org/​
Michael Nielsen, Neural networks and deep learning, http:/​/​neuralnetworksanddeeplearning.com/​
Bemærkninger
Dyb læring (engelsk deep learning) er en fællesbetegnelse for en type statistiske modeller der ligger bag fremskridt indenfor vigtige områder i kunstig intelligens såsom tale- og billedgenkendelse. Udviklingen er drevet af fremskridt i computerkraft, adgang til stadig større mængder træningsdata og nye algoritmer. Man vil i de kommende år kunne forvente at disse metoder vil føre til tekniske fremskridt indenfor mange datadrevne områder. Dyb læring har derfor i disse år stor akademisk og industriel bevågenhed.

Dette maskinlæringskursus har fokus på værktøjer for beregning og anvendelse. Projektarbejdet bliver udført i samarbejde med forskere på DTU Compute og/eller en virksomhed.

Kurset er en del af fokusområdet Machine Learning and Signal Processing under Master of Mathematical Modelling and Computing uddannelsen.
Sidst opdateret
07. maj, 2020