Overordnede kursusmål
Formålet med kurset er at give studerende en introduktion til
reinforcement-learning og kontrolteori. Kurset vil tilgå begge
emner fra et machine-learning perspektiv med vægt på ligheden i
problemformulering og typiske løsningsmetoder. Kurset sætter
studerende i stand til at forstå de situationer hvor reinforcemnet
learning og kontrolteori er anvendelige, formulere og simulere
relevante problemer, og forstår og implementere ud udvalg af de
mest anvendte metoder.
Læringsmål
En studerende, der fuldt ud har opfyldt kursets mål, vil kunne:
- Beskrive relevante aspekter af kontrolproblemet såsom
open/closed loop kontrol
- Formulere og anvende dynamisk programmering til eksakt
planlægning
- Formulere, simulere og kontrollere dynamiske systemer
- Anvende linearisering af ikke-lineære kontrolproblemer
- Forstå og implementere praktiske kontrolmetoder herunder LQR og
PID-kontrol
- Forstå vigtige definitioner fra reinforcement-learning såsom
on/off policy metoder og rollen af value/action-value
funktionerne
- Forstå Bandit-algoritmer og deres relation til
exploration/exploitation dilemmaet
- Forstå motivationen og fordele/ulemper ved de vigtigste
tabulære metoder såsom Q-læring, Sarsa og Monte-Carlo metoder samt
deres relation til dynamisk programmering
- Anvende lineære og ikke-lineære funktionsapproximatorer i
reinforcement learning
- Implementere metoderne og foretage analyse i Python.
Kursusindhold
1) Dynamisk programmerings-algoritmen til eksakt planlægning
2) Open/closed loop kontrol
3) Simulering og diskretisering af kontrolproblemet,
4) Kontrolmetoder såsom LQR-kontrol, linearizering, PID-control
5) Model-predictive control (MPC)
6) Bandit-algoritmer og deres anvendelse til
exploration/exploitation dilemmaet
7) Markov decision processes (MDPs) og modelbaseret reinforcement
learning, herunder value og policy iteration
8) Tabulære metoder til reinforcement learning såsom Q-læring,
Sarsa og Monte-Carlo metoder,
9) Eligibility traces,
10) Reinforcement learning med ikke-linære og linære
funktionsapproksimatorer
11) deep-Q learning
12) Implementation og evaluering af metoderne i Python
Litteraturhenvisninger
Sutton, R.S. and Barto, A.G., 2018. Reinforcement learning: An
introduction. MIT press.
Herlau, T. Undervisningsnoter. All material available through:
https://www2.compute.dtu.dk/courses/02465Bemærkninger
Forelæsninger og det skrevne materiale er på Engelsk. Opgaver kan
afleverse på både dansk og Engelsk.
Sidst opdateret
02. maj, 2025
