Passer aux informations sur le produit
Apprentissage par renforcement pratique avec PyTorch
Apprentissage par renforcement pratique avec PyTorch
Description
Introduction au livre
Ce livre aborde l'apprentissage par renforcement, des notions de base aux sujets avancés, de manière progressive et systématique.
Il explique les algorithmes basés sur les politiques (REINFORCE, PPO), les techniques acteur-critique (A2C, A3C) et les techniques basées sur les valeurs (DQN, DDQN) avec un équilibre entre théorie et pratique, visualisant les concepts et expliquant les formules étape par étape, tout en fournissant des conseils pour aider à comprendre les connaissances de base.
Les lecteurs peuvent implémenter le code principal de l'algorithme et vérifier immédiatement la bonne réponse, puis apprendre systématiquement l'ensemble du processus en concevant un cadre d'apprentissage par renforcement et en appliquant divers algorithmes basés sur celui-ci.
De plus, après avoir acquis une compréhension approfondie de chaque composant, nous vous guidons dans l'amélioration et l'extension de vos propres algorithmes, en vous fournissant des connaissances pratiques qui peuvent être immédiatement appliquées dans des environnements réels, y compris des techniques de pointe telles que l'apprentissage distribué.
  • Vous pouvez consulter un aperçu du contenu du livre.
    Aperçu

indice
Partie 1.
Aperçu de l'apprentissage par renforcement
Chapitre 1.
Aperçu de l'apprentissage par renforcement
1.1 Qu'est-ce que l'apprentissage par renforcement ?
1.2 Applications de l'apprentissage par renforcement
1.3 Les défis de l'apprentissage par renforcement

Chapitre 2.
algorithme d'apprentissage par renforcement
2.1 Définition de l'apprentissage par renforcement
2.2 Types d'algorithmes d'apprentissage par renforcement
2.3 Phase d'apprentissage de l'apprentissage par renforcement
2.4 Critères de sélection de l'algorithme

Partie 2.
Introduction aux cadres d'apprentissage par renforcement
Chapitre 3.
Cadre d'apprentissage par renforcement
3.1 Structure logique de l'apprentissage par renforcement
3.2 Structure de classe du cadre d'apprentissage par renforcement
3.2.1 Classes communes et personnalisées

Chapitre 4.
Environnement de développement du cadre d'apprentissage par renforcement
4.1 Configuration de l'environnement de développement
4.2 Introduction à OpenGym
4.3 Mise en œuvre du cadre d'apprentissage par renforcement

Partie 3.
Un aperçu de l'apprentissage par renforcement : méthodes basées sur les politiques
Chapitre 5.
Coureur
5.1 Composition du coureur
5.2 Fonctionnement du Runner
5.3 Définition de la classe Runner
5.4 Code d'implémentation de la classe Runner

Chapitre 6.
boucle environnementale
6.1 Configuration de la boucle environnementale
6.2 Fonctionnement de la boucle environnementale
6.3 Définition de la classe EnvironmentLoop
6.4 Code d'implémentation de la classe EnvironmentLoop

Chapitre 7.
Dégradé polonais
7.1 Dérivation des méthodes fondées sur les politiques
7.2 Méthodes de minimisation de la dispersion

Chapitre 8. Implémentation de l'algorithme REINFORCE
8.1 Configuration de l'algorithme REINFORCE
8.2 Classe de renforcement
8.3 Classe de réseau de renforcement
8.4 Classe REINFIRMERCELearner
8.5 Retour de Monte Carlo
Environnement CartPole-v1 8.6
8.7 Apprentissage de LunarLanderContinuous-v2

Partie 4.
Amélioration des performances des méthodes d'apprentissage par renforcement basées sur l'empreinte numérique
Chapitre 9.
agent
9.1 Configuration de l'agent
9.2 Agent
9.3 Acteurs
9.4 Apprenants
Réseau 9.5

Chapitre 10.
politique
10.1 Types de polices d'assurance
10.2 Composition de la politique
10.3 Classe de police
10.4 Classe de politique stochastique
10.5 Classe de politique catégorielle
10.6 Classe GaussianPolicy
Classe 10.7 MLP
10.8 Classe CategoricalPolicyMLP
Classe 10.9 GaussianPolicyMLP

Chapitre 11. Application du référentiel REINFORCE
11.1 Ajout de nouveaux algorithmes
11.2 Configuration de la version de base de REINFORCE
11.3 Classe REFORTEB
11.4 Classe REINFIRMEBNetwork
11.5 RENFORCÉ Classe d'apprenants
11.6 Apprendre CartPole-v1
11.7 Apprentissage de LunarLanderContinuous-v2
11.8 Apprendre un nouvel environnement

Partie 5.
Apprécier l'apprentissage par renforcement avec la méthode acteur-critique
Chapitre 12.
Méthode acteur-critique
12.1 Fonctions de valeur
12.2 Méthode acteur-critique
12,3 A2C

Chapitre 13.
implémentation de l'algorithme A2C
13.1 Configuration de l'algorithme A2C
Classe 13.2 A2C
13.3 Classe A2CNetwork
13.4 Classe A2C Apprenant
13,5 retours en n étapes
13,6 GAE
13.7 Apprendre CartPole-v1
13.8 Apprentissage de LunarLanderContinuous-v2

Chapitre 14.
fonction de valeur
14.1 Fonctions de valeur
14.2 Composition de la fonction valeur
14.3 Classe ValueFunction
14.4 Classe StateValueFunction
14.5 Classe ActionValueFunction
14.6 Classe ValueFunctionMLP
14.7 Classe QFunctionMLP
14.8 Classe QFunctionMLPDQN

Chapitre 15.
ensemble de données
15.1 Comment structurer un ensemble de données
15.2 Composition de l'ensemble de données
15.3 Tampons et schémas de tampon
15.4 Tampon de déploiement
15.5 Tampon de relecture

Chapitre 16.
environnement
16.1 Fonctionnement de l'environnement
16.2 Configuration de l'environnement
16.3 Classe Environnement
16.4 Classe EnvironmentSpec
Cours OpenGym 16.5

Partie 6.
Compléter l'apprentissage par renforcement avec une méthode basée sur les valeurs
Chapitre 17.
Méthode fondée sur les valeurs
17.1 Méthodes fondées sur les valeurs
17,2 DQN
17.3 Double DQN

Chapitre 18.
Méthode fondée sur les valeurs
18.1 Configuration de l'algorithme DQN
Classe 18.2 DQN
18.3 Classe DQNNetwork
18.4 Fonctions utilitaires
18.5 Classe d'apprenant DQN
18.6 Apprendre CartPole-v1

Chapitre 19.
Implémentation de l'algorithme Double DQN
19.1 Configuration de l'algorithme Double DQN
Classe 19.2 DDQN
19.3 Classe DDQNNetwork
19.4 Classe d'apprenant DDQL
19.5 CartPole d'apprentissage-v1

Partie 7.
Apprentissage par renforcement distribué : améliorer les performances de l’apprentissage par renforcement
Chapitre 20. Algorithme PPO
20.1 Algorithme PPO

Chapitre 21. Implémentation de l'algorithme PPO
21.1 Configuration de l'algorithme PPO
Classe 21.2 PPO
Classe 21.3 PPNetwork
21.4 Classe PPOLearner
21.5 CartPole d'apprentissage-v1
21.6 Apprentissage continu de LunarLander-v2
21.7 Apprentissage d'AntBulletEnv-v0

Chapitre 22.
Coureur multi-environnement
22.1 A2C et A3C
22.2 Configuration d'un exécuteur multi-environnement
22.3 Classe MultiEnvRunner
22.4 Classe MultiEnvAsyncRunner
22.5 Vérification des performances multi-environnements
22.6 Présentation de Ray

Avis de l'éditeur
◈ Ce que ce livre aborde ◈

◆ Des notions de base aux sujets avancés de l'apprentissage par renforcement, abordés étape par étape et de manière systématique.
◆ Fournit un mélange équilibré de théorie et de pratique des algorithmes basés sur les politiques (REINFORCE, PPO), sur l'acteur-critique (A2C, A3C) et sur les valeurs (DQN, DDQN).
◆ Fournit des conseils pour visualiser les concepts, expliquer les formules étape par étape et comprendre les connaissances de base.
◆ Une méthode de formation pratique qui vous permet d'implémenter directement le code principal de l'algorithme et de vérifier immédiatement la bonne réponse.
◆ Concevoir un cadre d'apprentissage par renforcement et implémenter un algorithme d'apprentissage par renforcement basé sur celui-ci.
◆ Il fournit une compréhension systématique des principaux composants et du processus global de l'apprentissage par renforcement, et aide les lecteurs à améliorer et à étendre l'algorithme par eux-mêmes.
◆ Fournit des connaissances pratiques qui peuvent être appliquées directement à des environnements réels, y compris des techniques de pointe telles que l'apprentissage distribué.

◈ Public cible de ce livre ◈

◆ Lecteurs souhaitant apprendre systématiquement l'apprentissage par renforcement profond, de la théorie à la pratique
◆ Lecteurs qui souhaitent comprendre la structure du cadre d'apprentissage par renforcement et le mettre en œuvre eux-mêmes
◆ Lecteurs souhaitant implémenter différents algorithmes, comparer et analyser leurs performances
Les développeurs et les chercheurs qui souhaitent appliquer l'apprentissage par renforcement à des tâches du monde réel
◆ Étudiants de premier et deuxième cycles en sciences et ingénierie, demandeurs d'emploi dans le domaine de l'IA, développeurs d'apprentissage automatique, chercheurs en R&D en IA, etc.

◈ Note de l'auteur ◈

Le succès éclatant des modèles de langage géants signale un bond en avant dans la technologie de l'intelligence artificielle vers l'intelligence artificielle générale (IAG).
Bientôt, nous partagerons notre quotidien avec des agents intelligents.
Ces agents se chargeront des tâches routinières que nous trouvons fastidieuses, répondront à nos états émotionnels, nous offriront des conseils pour nous aider à prendre des décisions rationnelles dans des situations complexes, et suggéreront parfois même de nouvelles opportunités.


L'une des capacités les plus importantes des agents intelligents est leur aptitude à résoudre des problèmes de prise de décision complexes à long terme et liés à des relations de cause à effet.
L'apprentissage par renforcement accélère l'intelligence grâce à un apprentissage autonome, en prenant en compte la manière dont les actions actuelles affecteront les décisions futures.
Les bras robotisés apprennent à saisir et à manipuler des objets par essais et erreurs, et AlphaZero acquiert des compétences au jeu de go grâce à une pratique répétée en auto-apprentissage, sans enregistrement humain.
Il s'autorégule entre « l'exploitation », qui répète les meilleures actions, et « l'exploration », qui tente de nouvelles actions pour découvrir de meilleures stratégies ; il planifie et se modifie également pour atteindre des objectifs à long terme, comme gagner une partie ou faire accomplir une mission à un robot.
La capacité d'apprendre de manière autonome, en tenant compte de la causalité de l'apprentissage par renforcement, est une capacité clé que les agents intelligents doivent posséder.


On me demande souvent : « Comment devrais-je commencer à étudier l’apprentissage par renforcement ? » Mais il n’a jamais été facile de recommander des supports d’apprentissage appropriés.
Les ouvrages classiques qui mettent l'accent de manière excessive sur la théorie sont faciles à abandonner pour les débutants et ne couvrent pas en profondeur le contenu de l'apprentissage par renforcement profond, pourtant essentiel à l'application pratique.
En revanche, les ouvrages d'introduction destinés au public national sont rares et les explications sont simples.
Si je devais un jour écrire un livre sur l'apprentissage par renforcement, je me concentrerais sur l'apprentissage par renforcement profond, avec des théories claires et des exercices pratiques permettant de les vérifier.
Ce n'est qu'après plusieurs années que j'ai pu écrire ce livre.


Ce livre est à la fois un ouvrage théorique et un ouvrage pratique qui équilibre la théorie et la pratique de l'apprentissage par renforcement.
Plutôt que de simplement énumérer les algorithmes, nous les avons organisés de manière séquentielle, en suivant le processus par lequel chaque technique s'est développée et étendue.
De plus, il est conçu pour mettre en œuvre des algorithmes d'apprentissage par renforcement basés sur un cadre prédéfini, afin que les concepts théoriques puissent être clairement compris tout en étant immédiatement appliqués à la pratique.
J’espère que ce livre vous permettra d’acquérir une compréhension approfondie des principes et des pratiques de l’apprentissage par renforcement et de progresser dans l’ère des agents intelligents.
SPÉCIFICATIONS DES PRODUITS
- Date d'émission : 28 août 2025
Nombre de pages, poids, dimensions : 764 pages | 1 396 g | 188 × 235 × 36 mm
- ISBN13 : 9791194409908
- ISBN10 : 1194409903

Vous aimerez peut-être aussi

카테고리