02477 Bayesiansk machine learning

2023/2024

Kursusinformation
Bayesian machine learning
Engelsk
5
Kandidat
F2A (man 13-17)
Campus Lyngby
Omvendt klasseværelse (videoforelæsninger og quiz) og øvelser. Øvelserne består af blanding af teoretiske øvelserne samt hands-on øvelser i Python
13-uger
F2A
Skriftlig eksamen
Kurset har 3 obligatoriske afleveringer som skal godkendes for at bestå kurset.
Skriftlig eksamen: 4 timer
Alle hjælpemidler er tilladt
7-trins skala , ekstern censur
04364 og 02457
02405.02450 (02002/02631/02632/02633) , Lineær algebra, indledende statistik og sandsynlighedsregning. Sandsynlighedsteori, Introduktion til machine learning, Python programmering
Michael Riis Andersen , Lyngby Campus, Bygning 321, Tlf. (+45) 4525 3409 , miri@dtu.dk
Lars Kai Hansen , Lyngby Campus, Bygning 321, Tlf. (+45) 4525 3889 , lkai@dtu.dk
Mikkel N. Schmidt , Tlf. (+45) 4525 5270 , mnsc@dtu.dk
Ole Winther , Lyngby Campus, Bygning 321, Tlf. (+45) 4525 3895 , olwi@dtu.dk
Morten Mørup , Tlf. (+45) 4525 3900 , mmor@dtu.dk
Jes Frellsen , Lyngby Campus, Bygning 321, Tlf. (+45) 4525 3923 , jefr@dtu.dk
Søren Hauberg , Tlf. (+45) 4525 3899 , sohau@dtu.dk
01 Institut for Matematik og Computer Science
I studieplanlæggeren
Overordnede kursusmål
Machine learning er en fundamental kompetence for AI ingeniører, fordi læring i fleksible statistiske modeller er den mest hensigtmæssige måde at skalere AI anvendelse til "human perfornance" f.eks. inden for billeder, lyd og tekst-data. Omhyggelig modellering af usikkerhed -både i data og modeller - er vigtigt både for den teoretiske forståelse og for praktisk succes. Med mere fleksible modeller som dybe neurale netværk, er dette yderligere forstærket. I dette kursus tages en Bayesiansk tilgang som giver mulighed for en samlet beskrivelse af usikkerhed i både data og modeller.

Formålet med kurset er todelt. Først og fremmest er målet med kurset at give de studerende en dybere teoretisk forståelse af probabilisk maskinlæring samt at klæde dem på til at læse og forstå den nyeste litteratur indenfor feltet. Derudover er målet at de studerende skal kunne diskutere modeller for konkrete problemer samt diskutere og anvende passende inferensalgoritmer.
Læringsmål
En studerende, der fuldt ud har opfyldt kursets mål, vil kunne:
  • Diskutere fundamentale aspekter af statistisk machine learning: priors, likelihood funktionen, posterior fordelinger og evidens
  • Forklare og diskutere fordelinger og antagelser i sandsynlighedsteoretiske modeller
  • Diskutére og relatére maximum likelihood inferens, maximum a posteriori, eksakt Bayesiansk inferens samt akkkproksimativ inferens.
  • Udføre og analysere approksimativ inferens baserest på sampling og variationelle metoder.
  • Implementere og analysere metoder til evaluering og sammenligning af modeller
  • Diskutere usikkerhedskvantificering og kalibrering med Bayes metoder
  • Forklare og anvende Bayesiansk beslutningsteori
  • Diskutere og anvende approksimativ Bayesiansk inferens på modeller fra dyb læring
  • Designe Bayesiansk machine learning systemer for både superviser og unsupervised læring.
  • Designe og implementere numeriske eksperimenter for at evaluere machine learning systemer.
Kursusindhold
Indholdet i kurset kan variere lidt fra år til år, men vil typisk være:
1) lineære og ikke-lineære modeller, 2) parametrisk, semi-parametrisk og ikke parametrisk machine learning, 3) Gaussiske processser 4) matematisk modellering af signaler 5) approksimativ inferens baseret på sampling og variationelle metoder 6) evaluaring og test med henblik på centrale performance mål 7) Bayesianske modeller og dyb læring i enten lyd, billed eller tekst data.
Litteraturhenvisninger
1) Kevin Murphy: "Probabilistic Machine Learning: Advanced Topics"
MIT Press, 2023
https:/​/​probml.github.io/​pml-book/​book2.html

2) Christopher M. Bishop: "Pattern Recognition and Machine Learning".
Springer (2006) ISBN 0-38-731073-8
https:/​/​www.microsoft.com/​en-us/​research/​people/​cmbishop/​prml-book/​



3) Review artikler og noter
Bemærkninger
Dette kursus er sammen med kursus 02460 og kursus 02456 videregående kurser inden for machine learning. Det tilhørende indledende kursus er 02450.
Sidst opdateret
04. maj, 2023