02465 Introduktion til reinforcement learning og kontrol (2022/2023)

02465 Introduktion til reinforcement learning og kontrol

2022/2023

Kursusinformation

Engelsk titel	Introduction to reinforcement learning and control
Undervisningssprog	Dansk
Point( ECTS )	5
Kursustype	Bachelor

Skemaplacering	F4B (fre 8-12)
Undervisningens placering	Campus Lyngby
Undervisningsform	Forelæsninger, øvelser, projektarbejde
Kursets varighed	13-uger
Eksamensplacering	F4B
Evalueringsform	Skriftlig eksamen og bedømmelse af rapport(er) Skriftlig eksamen og bedømmelse af rapport(er)
Eksamensvarighed	Skriftlig eksamen: 4 timer
Hjælpemidler	Alle hjælpemidler er tilladt
Bedømmelsesform	7-trins skala , ekstern censur
Anbefalede forudsætninger	02450.02403.(02631/02632/02633) , Introduktion til Machine Learning og Data Mining. Introduktion til matematisk statistik (eller andet kursus som giver en introduktion til sandsynlighedsregning). Erfaring med programmeringssproget Python

Kursusansvarlig	Tue Herlau , Lyngby Campus, Bygning 321, Tlf. (+45) 4525 5254 , tuhe@dtu.dk
Medansvarlige	Niels Kjølstad Poulsen , Tlf. (+45) 4525 3356 , nkpo@dtu.dk Henrik Madsen , Lyngby Campus, Bygning 303B, Tlf. (+45) 4525 3408 , hmad@dtu.dk Morten Mørup , Tlf. (+45) 4525 3900 , mmor@dtu.dk Lars Kai Hansen , Lyngby Campus, Bygning 321, Tlf. (+45) 4525 3889 , lkai@dtu.dk
Institut	01 Institut for Matematik og Computer Science
Kursushjemmeside	http://www2.imm.dtu.dk/courses/02465/
Tilmelding	I studieplanlæggeren
Mulighed for GRØN DYST deltagelse	Dette kursus giver den studerende en mulighed for at lave eller forberede et projekt som kan deltage i DTUs studenterkonference om bæredygtighed, klimateknologi og miljø (GRØN DYST). Se mere på http://www.groendyst.dtu.dk

Overordnede kursusmål

Formålet med kurset er at give studerende en introduktion til reinforcement-learning og kontrolteori. Kurset vil tilgå begge emner fra et machine-learning perspektiv med vægt på ligheden i problemformulering og typiske løsningsmetoder. Kurset sætter studerende i stand til at forstå de situationer hvor reinforcemnet learning og kontrolteori er anvendelige, formulere og simulere relevante problemer, og forstår og implementere ud udvalg af de mest anvendte metoder.

Læringsmål

En studerende, der fuldt ud har opfyldt kursets mål, vil kunne:

Beskrive relevante aspekter af kontrolproblemet såsom open/closed loop kontrol
Formulere og anvende dynamisk programmering til eksakt planlægning
Formulere, simulere og kontrollere dynamiske systemer
Anvende linearisering af ikke-lineære kontrolproblemer
Forstå og implementere praktiske kontrolmetoder herunder LQR og PID-kontrol
Forstå vigtige definitioner fra reinforcement-learning såsom on/off policy metoder og rollen af value/action-value funktionerne
Forstå Bandit-algoritmer og deres relation til exploration/exploitation dilemmaet
Forstå motivationen og fordele/ulemper ved de vigtigste tabulære metoder såsom Q-læring, Sarsa og Monte-Carlo metoder samt deres relation til dynamisk programmering
Anvende lineære og ikke-lineære funktionsapproximatorer i reinforcement learning
Implementere metoderne og foretage analyse i Python.

Kursusindhold

1) Dynamisk programmerings-algoritmen til eksakt planlægning
2) Open/closed loop kontrol
3) Simulering og diskretisering af kontrolproblemet,
4) Kontrolmetoder såsom LQR-kontrol, linearizering, PID-control
5) Model-predictive control (MPC)
6) Bandit-algoritmer og deres anvendelse til exploration/exploitation dilemmaet
7) Markov decision processes (MDPs) og modelbaseret reinforcement learning, herunder value og policy iteration
8) Tabulære metoder til reinforcement learning såsom Q-læring, Sarsa og Monte-Carlo metoder,
9) Eligibility traces,
10) Reinforcement learning med ikke-linære og linære funktionsapproksimatorer
11) deep-Q learning
12) Implementation og evaluering af metoderne i Python

Litteraturhenvisninger

Sutton, R.S. and Barto, A.G., 2018. Reinforcement learning: An introduction. MIT press.
Herlau, T. Undervisningsnoter

Sidst opdateret

02. maj, 2022