02465 Introduktion til reinforcement learning og kontrol

2024/2025

Hvis du er interesseret i at tage kurset kan du læse mere her: https:/​/​www2.compute.dtu.dk/​courses/​02465/​information/​about.html
Kursusinformation
Introduction to reinforcement learning and control
Engelsk
5
Bachelor
Retningsspecifikt kursus (BSc), Kunstig Intelligens og data
Retningsspecifikt kursus (MSc), Sustainable Energy
Retningsspecifikt kursus (MSc), Sustainable Energy Systems
Teknologiske linjefag, Kunstig Intelligens og Data
F4B (fre 8-12)
Campus Lyngby
Forelæsninger, øvelser, projektarbejde
13-uger
F4B
Skriftlig eksamen og bedømmelse af rapport(er)
Skriftlig eksamen og bedømmelse af rapport(er)
Skriftlig eksamen: 4 timer
Alle hjælpemidler - uden adgang til internettet
7-trins skala , ekstern censur
0245002403.­(02002/02631/02632/02633) , Introduktion til Machine Learning og Data Mining. Introduktion til matematisk statistik (eller andet kursus som giver en introduktion til sandsynlighedsregning). Erfaring med programmeringssproget Python
Tue Herlau , Lyngby Campus, Bygning 321, Tlf. (+45) 4525 5254 , tuhe@dtu.dk
Niels Kjølstad Poulsen , Tlf. (+45) 4525 3356
Henrik Madsen , Lyngby Campus, Bygning 303B, Tlf. (+45) 4525 3408 , hmad@dtu.dk
Morten Mørup , Tlf. (+45) 4525 3900 , mmor@dtu.dk
Lars Kai Hansen , Lyngby Campus, Bygning 321, Tlf. (+45) 4525 3889 , lkai@dtu.dk
01 Institut for Matematik og Computer Science
https://www2.compute.dtu.dk/courses/02465/
I studieplanlæggeren
Dette kursus giver den studerende en mulighed for at lave eller forberede et projekt som kan deltage i DTUs studenterkonference om bæredygtighed, klimateknologi og miljø (GRØN DYST). Se mere på http://www.groendyst.dtu.dk
Overordnede kursusmål
Formålet med kurset er at give studerende en introduktion til reinforcement-learning og kontrolteori. Kurset vil tilgå begge emner fra et machine-learning perspektiv med vægt på ligheden i problemformulering og typiske løsningsmetoder. Kurset sætter studerende i stand til at forstå de situationer hvor reinforcemnet learning og kontrolteori er anvendelige, formulere og simulere relevante problemer, og forstår og implementere ud udvalg af de mest anvendte metoder.
Læringsmål
En studerende, der fuldt ud har opfyldt kursets mål, vil kunne:
  • Beskrive relevante aspekter af kontrolproblemet såsom open/closed loop kontrol
  • Formulere og anvende dynamisk programmering til eksakt planlægning
  • Formulere, simulere og kontrollere dynamiske systemer
  • Anvende linearisering af ikke-lineære kontrolproblemer
  • Forstå og implementere praktiske kontrolmetoder herunder LQR og PID-kontrol
  • Forstå vigtige definitioner fra reinforcement-learning såsom on/off policy metoder og rollen af value/action-value funktionerne
  • Forstå Bandit-algoritmer og deres relation til exploration/exploitation dilemmaet
  • Forstå motivationen og fordele/ulemper ved de vigtigste tabulære metoder såsom Q-læring, Sarsa og Monte-Carlo metoder samt deres relation til dynamisk programmering
  • Anvende lineære og ikke-lineære funktionsapproximatorer i reinforcement learning
  • Implementere metoderne og foretage analyse i Python.
Kursusindhold
1) Dynamisk programmerings-algoritmen til eksakt planlægning
2) Open/closed loop kontrol
3) Simulering og diskretisering af kontrolproblemet,
4) Kontrolmetoder såsom LQR-kontrol, linearizering, PID-control
5) Model-predictive control (MPC)
6) Bandit-algoritmer og deres anvendelse til exploration/exploitation dilemmaet
7) Markov decision processes (MDPs) og modelbaseret reinforcement learning, herunder value og policy iteration
8) Tabulære metoder til reinforcement learning såsom Q-læring, Sarsa og Monte-Carlo metoder,
9) Eligibility traces,
10) Reinforcement learning med ikke-linære og linære funktionsapproksimatorer
11) deep-Q learning
12) Implementation og evaluering af metoderne i Python
Litteraturhenvisninger
Sutton, R.S. and Barto, A.G., 2018. Reinforcement learning: An introduction. MIT press.
Herlau, T. Undervisningsnoter. All material available through: https:/​/​www2.compute.dtu.dk/​courses/​02465
Bemærkninger
Forelæsninger og det skrevne materiale er på Engelsk. Opgaver kan afleverse på både dansk og Engelsk.
Sidst opdateret
02. maj, 2024