Overordnede kursusmål
Matematisk optimering anvendes til en bred vifte af opgaver inden
for datavidenskab, såsom statistisk estimering,
dimensionsreduktion, klyngedannelse, hyperparameter-bestemmelse og
modeltræning. Dette kursus giver en dyb forståelse af den
underliggende matematiske optimeringsteori, der spænder fra
grundlæggende principper til state-of-the-art metoder og skalerbare
løsningsteknikker, som er anvendelige på en række af
optimeringsproblemer, der opstår inden for datavidenskab.
Studerende vil endvidere opnå en forståelse af samspillet mellem
optimering og datavidenskab samt evnen til at forstå og analysere
de indre mekanismer i forskellige optimeringsalgoritmer, hvilket
gør den studerende i stand til at skelne mellem styrker og
svagheder ved forskellige problemformuleringer og løsningsmetoder.
Læringsmål
En studerende, der fuldt ud har opfyldt kursets mål, vil kunne:
- forklare grundlæggende koncepter inden for konveks analyse,
herunder konvekse mængder og funktioner, konjugerede funktioner og
subdifferentierbarhed
- karakterisere optimeringsproblemer baseret på deres matematiske
egenskaber (f.eks. glatte/ikke-glatte, konvekse/ikke-konvekse,
kontinuerte/diskrete, ubegrænsede/begrænsede) og genkende
konsekvenserne af disse egenskaber for løsningsmetode
- formulére optimeringsproblemer og udlede
optimalitetsbetingelser og Lagrange-dualproblem
- forklare hvordan ændringer i bibetingelser påvirker den
optimale løsning
- anvende surrogatmodeller og konvekse Rumpelstiltskin
- forklare eksplicitte og implicitte reguleringsteknikker
- analysere og anvende stokastiske optimeringsmetoder
- implementere skalerbare algoritmer til at løse
optimeringsproblemer inden for datavidenskab
- anvende strategier til bestemmelse af hyperparametre
- sammenligne forskellige optimeringsalgoritmer og vurdere
afvejninger med hensyn til konvergenshastighed, robusthed og
skalerbarhed
Kursusindhold
Optimeringens rolle i datavidenskab (modelantagelser, afvejning
mellem approksimations-, estimerings- og optimeringsfejl,
reguleringsteknikker). Optimeringsteori (globale og lokale
optimeringsmetoder, surrogatmodeller, optimalitetsbetingelser),
konveks analyse (konvekse mængder og funktioner, konjugeret
funktion, subdifferentiale) og problemtransformationer.
Optimeringsproblemer og deres egenskaber
(lineære/konvekse/ikke-lineære, glatte/ikke-glatte,
kontinuerte/diskrete, ubegrænsede/begrænsede). Surrogatmodeller og
lempelsesteknikker. Optimeringsalgoritmer (metoder af første orden,
proximal-operator, quasi-Newton metoder, Newtons metode,
stokastiske metoder, Bayesiansk optimering) og konvergensanalyse.
Randomiseret numerisk lineær algebra og implementering af
skalerbare løsningsmetoder til specifikke optimeringsproblemer
inden for datavidenskab.
Litteraturhenvisninger
Hansson & Andersen, "Optimization for Learning and
Control," Wiley, 2023. ISBN: 9781119809135.
Wright & Ma, "High-Dimensional Data Analysis with
Low-Dimensional Models:
Principles, Computation, and Applications," Cambridge
University Press, 2022. ISBN: 9781108489737.
Sidst opdateret
02. maj, 2024