Introduction à l'apprentissage par renforcement

📋 Plan du Cours

1. Apprentissage par Renforcement
2. Processus de Decision Markovien
3. Méthodes model-based
4. Politique et Retour
5. Fonctions de valeur
6. Équations de Bellman
7. Méthodes de résolution MDP
8. Politique optimale
9. Algorithmes de planification
10. Méthodes de policy iteration
11. Méthodes de value iteration

📖 1. Apprentissage par Renforcement

🔑 Notions clés & Définitions

• Agent : Entité qui interagit avec son environnement, apprend de ses expériences et adapte son comportement pour atteindre un objectif donné. Saulières (2022) : "L’agent apprend en expérimentant dans un environnement dynamique et incertain."
• Apprentissage par expérience : Processus par lequel l’agent améliore ses comportements en accumulant des données issues de ses interactions avec l’environnement, sans modèle préalable des dynamiques.
• Problèmes interactifs et décision séquentielle : Situations où l’agent doit prendre une série de décisions dans un environnement changeant, en tenant compte des conséquences futures de ses actions.
• Objectif d’apprentissage d’un comportement optimal : Définir une stratégie ou politique qui maximise une fonction de récompense cumulée sur le long terme, en équilibrant exploration et exploitation.
• Types de méthodes :
  • value-based : Approche basée sur l’estimation de fonctions de valeur (ex : Q-learning, SARSA).
  • policy-based : Approche qui optimise directement la politique (ex :…