02611 Optimering til datavidenskab

2024/2025

Kursusinformation
Optimization for Data Science
Engelsk
5
Kandidat
Kurset udbydes som enkeltfag
Retningsspecifikt kursus (MSc), Mathematical Modelling and Computation
F5B (ons 13-17)
Campus Lyngby
Forelæsninger og opgaver
13-uger
F5B
Skriftlig eksamen og bedømmelse af rapport(er)
Opgaver udføres i små grupper (2-3 studerende) med en individuel komponent. Den endelige karakter baseres på en samlet evaluering af rapporter/opgaver og den skriftlige eksamen.
Skriftlig eksamen: 3 timer
Skriftlige hjælpemidler er tilladt
7-trins skala , intern bedømmelse
01005/01006/0102001025/01034/01035/0103702402/0240302601 , kursus i lineær algebra og differential -og integralregning (f.eks 01005/01006/01020 and 01025/​01034/​01035/​01037), statistik (f.eks. 02402/02403) og numeriske algoritmer (f.eks. 02601). Godt kendskab til et højniveau-programmeringssprog som f.eks. Python, Julia eller MATLAB forventes. Kursus i sandsynlighedsteori (f.eks. 02405) og matematisk optimering (f.eks. 02610) anbefales men er ikke strengt nødvendigt.
Martin Skovgaard Andersen , Lyngby Campus, Bygning 303B, Tlf. (+45) 4525 3036 , mskan@dtu.dk
Yiqiu Dong , Lyngby Campus, Bygning 303B, Tlf. (+45) 4525 3108 , yido@dtu.dk
01 Institut for Matematik og Computer Science
I studieplanlæggeren
Dette kursus giver den studerende en mulighed for at lave eller forberede et projekt som kan deltage i DTUs studenterkonference om bæredygtighed, klimateknologi og miljø (GRØN DYST). Se mere på http://www.groendyst.dtu.dk
Overordnede kursusmål
Matematisk optimering anvendes til en bred vifte af opgaver inden for datavidenskab, såsom statistisk estimering, dimensionsreduktion, klyngedannelse, hyperparameter-bestemmelse og modeltræning. Dette kursus giver en dyb forståelse af den underliggende matematiske optimeringsteori, der spænder fra grundlæggende principper til state-of-the-art metoder og skalerbare løsningsteknikker, som er anvendelige på en række af optimeringsproblemer, der opstår inden for datavidenskab. Studerende vil endvidere opnå en forståelse af samspillet mellem optimering og datavidenskab samt evnen til at forstå og analysere de indre mekanismer i forskellige optimeringsalgoritmer, hvilket gør den studerende i stand til at skelne mellem styrker og svagheder ved forskellige problemformuleringer og løsningsmetoder.
Læringsmål
En studerende, der fuldt ud har opfyldt kursets mål, vil kunne:
  • forklare grundlæggende koncepter inden for konveks analyse, herunder konvekse mængder og funktioner, konjugerede funktioner og subdifferentierbarhed
  • karakterisere optimeringsproblemer baseret på deres matematiske egenskaber (f.eks. glatte/ikke-glatte, konvekse/ikke-konvekse, kontinuerte/diskrete, ubegrænsede/​begrænsede) og genkende konsekvenserne af disse egenskaber for løsningsmetode
  • formulére optimeringsproblemer og udlede optimalitetsbetingelser og Lagrange-dualproblem
  • forklare hvordan ændringer i bibetingelser påvirker den optimale løsning
  • anvende surrogatmodeller og konvekse Rumpelstiltskin
  • forklare eksplicitte og implicitte reguleringsteknikker
  • analysere og anvende stokastiske optimeringsmetoder
  • implementere skalerbare algoritmer til at løse optimeringsproblemer inden for datavidenskab
  • anvende strategier til bestemmelse af hyperparametre
  • sammenligne forskellige optimeringsalgoritmer og vurdere afvejninger med hensyn til konvergenshastighed, robusthed og skalerbarhed
Kursusindhold
Optimeringens rolle i datavidenskab (modelantagelser, afvejning mellem approksimations-, estimerings- og optimeringsfejl, reguleringsteknikker). Optimeringsteori (globale og lokale optimeringsmetoder, surrogatmodeller, optimalitetsbetingelser), konveks analyse (konvekse mængder og funktioner, konjugeret funktion, subdifferentiale) og problemtransformationer. Optimeringsproblemer og deres egenskaber (lineære/​konvekse/​ikke-lineære, glatte/ikke-glatte, kontinuerte/diskrete, ubegrænsede/​begrænsede). Surrogatmodeller og lempelsesteknikker. Optimeringsalgoritmer (metoder af første orden, proximal-operator, quasi-Newton metoder, Newtons metode, stokastiske metoder, Bayesiansk optimering) og konvergensanalyse. Randomiseret numerisk lineær algebra og implementering af skalerbare løsningsmetoder til specifikke optimeringsproblemer inden for datavidenskab.
Litteraturhenvisninger
Hansson & Andersen, "Optimization for Learning and Control," Wiley, 2023. ISBN: 9781119809135.
Wright & Ma, "High-Dimensional Data Analysis with Low-Dimensional Models:
Principles, Computation, and Applications," Cambridge University Press, 2022. ISBN: 9781108489737.
Sidst opdateret
02. maj, 2024