[Partie 1 : Apprentissage automatique]

Chapitre 1 : Aperçu de l’apprentissage automatique

1.1 Qu'est-ce que l'apprentissage automatique ?
1.2 Pourquoi utiliser l'apprentissage automatique ?
1.3 Cas d'application
1.4 Types de systèmes d'apprentissage automatique
1.4.1 Méthode de guidage de la formation
Apprentissage supervisé
Apprentissage non supervisé
__Apprentissage de la préparation
__Apprentissage autodirigé
Apprentissage par renforcement
1.4.2 Apprentissage par lots et apprentissage en ligne
Apprentissage par lots
__Apprentissage en ligne
1.4.3 Apprentissage par cas et apprentissage par modèles
__Apprentissage par cas
Apprentissage basé sur un modèle
1.5 Principaux défis de l'apprentissage automatique
_1.5.1 Quantité insuffisante de données d'entraînement
1.5.2 Données d'entraînement non représentatives
_1.5.3 Données de faible qualité
1.5.4 Caractéristiques non liées
_1.5.5 Surapprentissage des données d'entraînement
_1.5.6 Sous-apprentissage des données d'entraînement
_1.5.7 Résumé des points clés
1.6 Tests et validation
1.6.1 Optimisation des hyperparamètres et sélection du modèle
_1.6.2 Incohérence des données
Problèmes pratiques

Chapitre 2 Projets d'apprentissage automatique du début à la fin

2.1 Travailler avec des données réelles
2.2 Avoir une vision d'ensemble
2.2.1 Définition du problème
2.2.2 Sélection des indicateurs de mesure de la performance
2.2.3 Inspection du domicile
2.3 Importation des données
_2.3.1 Exécution d'un exemple de code avec Google Colab
2.3.2 Sauvegarde du code et des données
2.3.3 Les avantages et les risques des environnements interactifs
2.3.4 Code du livre et code du cahier
_2.3.5 Téléchargement des données
2.3.6 Aperçu de la structure des données
2.3.7 Création d'un ensemble de test
2.4 Exploration et visualisation pour la compréhension des données
2.4.1 Visualisation des données géographiques
_2.4.2 Étude des corrélations
_2.4.3 Expérimentation de combinaisons de caractéristiques
2.5 Préparation des données pour les algorithmes d'apprentissage automatique
_2.5.1 Nettoyage des données
2.5.2 Gestion des fonctions textuelles et catégorielles
_2.5.3 Échelles et transformations des caractéristiques
_2.5.4 Convertisseur personnalisé
Pipeline de conversion _2.5.5
2.6 Sélection et formation du modèle
2.6.1 Entraînement et évaluation sur l'ensemble d'entraînement
_2.6.2 Évaluation par validation croisée
2.7 Réglage fin du modèle
_2.7.1 Recherche par grille
_2.7.2 Recherche aléatoire
_2.7.3 Méthodes d'ensemble
2.7.4 Meilleur modèle et analyse des erreurs
2.7.5 Évaluation du système à l'aide d'un ensemble de test
2.8 Lancement, surveillance et maintenance du système
2.9 Essayez-le vous-même !
Problèmes pratiques

Chapitre 3 Classification

3.1 MNIST
3.2 Entraînement du classificateur binaire
3.3 Mesure des performances
3.3.1 Mesure de la précision par validation croisée
3.3.2 Matrice d'erreur
3.3.3 Précision et rappel
3.3.4 Compromis précision/rappel
3.3.5 Courbe ROC
3.4 Multi-classification
3.5 Analyse des erreurs
3.6 Classification multi-étiquettes
3.7 Classification à sorties multiples
Problèmes pratiques

Chapitre 4 Formation sur les modèles

4.1 Régression linéaire
_4.1.1 Équations normales
_4.1.2 Complexité computationnelle
4.2 Descente en pente
4.2.1 Descente de gradient par lots
4.2.2 Descente de gradient stochastique
4.2.3 Descente de gradient par mini-lots
4.3 Régression polynomiale
4.4 Courbe d'apprentissage
4.5 Modèle linéaire avec régulation
4.5.1 Régression Ridge
4.5.2 Régression Lasso
_4.5.3 ElasticNet
_4.5.4 Résiliation anticipée
4.6 Régression logistique
_4.6.1 Estimation des probabilités
4.6.2 Fonctions de formation et de coût
_4.6.3 Limite de décision
_4.6.4 Régression Softmax
Problèmes pratiques

Chapitre 5 Machines à vecteurs de support

5.1 Classification SVM linéaire
5.1.1 Classification des marges souples
5.2 Classification SVM non linéaire
_5.2.1 Noyau polynomial
5.2.2 Caractéristiques de similarité
Noyau RBF gaussien _5.2.3
5.2.4 Complexité de calcul
5.3 Régression SVM
5.4 Théorie des SVM
5.5 Problème double
SVM du noyau _5.5.1
Problèmes pratiques

Chapitre 6 Arbres de décision

6.1 Apprentissage et visualisation des arbres de décision
6.2 Prédiction
6.3 Estimation de la probabilité de classe
6.4 Algorithme d'apprentissage CART
6.5 Complexité computationnelle
6.6 Impureté de Gini ou entropie ?
6.7 Paramètres réglementaires
6.8 Régression
6.9 Sensibilité à la direction axiale
6.10 Problèmes de distribution dans les arbres de décision
Problèmes pratiques

Chapitre 7 : Apprentissage d’ensemble et forêts aléatoires

7.1 Classificateur basé sur le vote
7.2 Ensachage et collage
_7.2.1 Bagging et Paste dans Scikit-learn
7.2.2 Évaluation hors bande
7.3 Zones aléatoires et sous-espaces aléatoires
7.4 Forêt aléatoire
_7.4.1 Arbre supplémentaire
_7.4.2 Importance des fonctionnalités
Boost 7.5
7.5.1 AdaBoost
_7.5.2 Boost de gradient
_7.5.3 Boosting de gradient basé sur l'histogramme
_7.6 Empilage
Problèmes pratiques

Chapitre 8 Réduction dimensionnelle

8.1 La malédiction des dimensions
8.2 Approches de la réduction de dimensionnalité
8.2.1 Projection
8.2.2 Apprentissage de variétés
8.3 Analyse en composantes principales
_8.3.1 Préservation distribuée
8.3.2 Ingrédients principaux
8.3.3 Projection sur la dimension d
_8.3.4 Utilisation de scikit-learn
8.3.5 Proportion de variance expliquée
8.3.6 Choix du nombre approprié de dimensions
8.3.7 ACP pour la compression
_8.3.8 ACP aléatoire
8.3.9 ACP progressive
8.4 Projection aléatoire
8.5 Intégration linéaire locale
8.6 Autres techniques de réduction de dimensionnalité
Problèmes pratiques

Chapitre 9 Apprentissage non supervisé

9.1 Cluster
_9.1.1 k-moyennes
algorithme des k-moyennes
__Comment initialiser le centroïde
__k-means accélération et k-means par mini-lots
__Trouver le nombre optimal de clusters
_9.1.2 Limites de l'algorithme k-means
_9.1.3 Segmentation d'images par clusters
_9.1.4 Apprentissage semi-supervisé utilisant des clusters
_9.1.5 DBSCAN
_9.1.6 Autres algorithmes de clustering
9.2 Mélange gaussien
_9.2.1 Détection des valeurs aberrantes à l'aide de mélanges gaussiens
_9.2.2 Sélection du nombre de clusters
_9.2.3 Modèle de mélange gaussien bayésien
_9.2.4 Algorithmes de détection des valeurs aberrantes et de détection des valeurs aberrantes
Problèmes pratiques

[Partie 2 : Réseaux neuronaux et apprentissage profond]

Chapitre 10 : Introduction aux réseaux de neurones artificiels avec Keras

10.1 Des neurones biologiques aux neurones artificiels
_10.1.1 Neurones biologiques
10.1.2 Opérations logiques utilisant des neurones
_10.1.3 Perceptron
_10.1.4 Perceptron multicouche et rétropropagation
_10.1.5 Perceptron multicouche pour la régression
_10.1.6 Perceptron multicouche pour la classification
10.2 Implémentation d'un perceptron multicouche avec Keras
_10.2.1 Création d'un classificateur d'images avec l'API séquentielle
Chargement d'un jeu de données avec Keras
__Création d'un modèle avec l'API Sequential
__Compiler le modèle
__Formation et évaluation des modèles
Effectuer des prédictions avec le modèle __
_10.2.2 Création d'un perceptron multicouche pour la régression avec l'API séquentielle
_10.2.3 Création de modèles complexes avec l'API fonctionnelle
_10.2.4 Création de modèles dynamiques avec l'API de sous-classement
_10.2.5 Sauvegarde et restauration des modèles
_10.2.6 Utilisation des fonctions de rappel
_10.2.7 Visualisation avec TensorBoard
10.3 Optimisation des hyperparamètres du réseau neuronal
_10.3.1 Nombre de couches cachées
_10.3.2 Nombre de neurones dans la couche cachée
_10.3.3 Taux d'apprentissage, taille du lot et autres hyperparamètres
Problèmes pratiques

Chapitre 11 : Entraînement des réseaux neuronaux profonds

11.1 Problèmes de disparition du gradient et d'emballement
_11.1.1 Initialisation de Glorot et He
_11.1.2 Fonctions d'activation avancées
__LeakyReLU
__ELU et SELU
__GELU, Swish, Mish
_11.1.3 Normalisation par lots
__Implémentation de la normalisation par lots avec Keras
_11.1.4 Découpage par dégradé
11.2 Réutilisation des couches pré-entraînées
11.2.1 Apprentissage par transfert avec Keras
_11.2.2 Préformation non supervisée
11.2.3 Formation préalable aux tâches auxiliaires
11.3 Optimiseur haute vitesse
_11.3.1 Optimisation de la dynamique
_11.3.2 Pente d'accélération de Nesterov
_11.3.3 AdaGrad
_11.3.4 RMSProp
_11.3.5 Adam
_11.3.6 AdaMax
_11.3.7 Nadam
_11.3.8 AdamW
_11.3.9 Planification du taux d'apprentissage
11.4 Éviter le surapprentissage grâce à la régularisation
_11.4.1 Règlement l1 et l2
_11.4.2 Abandon
_11.4.3 Abandon de Monte Carlo
_11.4.4 Réglementation Max-norm
11.5 Résumé et directives pratiques
Problèmes pratiques

Chapitre 12 : Modèles personnalisés et entraînement avec TensorFlow

12.1 Aperçu de TensorFlow
12.2 Utilisation de TensorFlow comme NumPy
12.2.1 Tenseurs et opérations
_12.2.2 Tenseurs et NumPy
_12.2.3 Conversion de type
_12.2.4 Variables
_12.2.5 Autres structures de données
12.3 Modèles personnalisés et algorithmes d'entraînement
12.3.1 Fonctions de perte définies par l'utilisateur
_12.3.2 Enregistrement et chargement de modèles avec des éléments personnalisés
12.3.3 Personnalisation de la fonction d'activation, de l'initialisation, de la régulation et des limites
_12.3.4 Métriques personnalisées
_12.3.5 Calques personnalisés
_12.3.6 Modèles personnalisés
_12.3.7 Pertes et métriques basées sur les composants du modèle
_12.3.8 Calcul des gradients avec différentiation automatique
_12.3.9 Itérations de formation personnalisées
12.4 Fonctions et graphes TensorFlow
12.4.1 Autographe et calque
12.4.2 Comment utiliser les fonctions TensorFlow
Problèmes pratiques

Chapitre 13 : Chargement et prétraitement des données avec TensorFlow

13.1 API de données
_13.1.1 Transformation en chaîne
_13.1.2 Mélange de données
_13.1.3 Lecture des lignes de plusieurs fichiers une par une
_13.1.4 Prétraitement des données
_13.1.5 Combinaison du chargement et du prétraitement des données
_13.1.6 Préchargement
_13.1.7 Utilisation de Keras et d'ensembles de données
13.2 Format TFRecord
_13.2.1 Fichier TFRecord compressé
_13.2.2 Aperçu des tampons de protocole
_13.2.3 Tampons de protocole TensorFlow
_13.2.4 Exemple de lecture et d'analyse d'un tampon de protocole
_13.2.5 Gestion des listes de listes avec SequenceExemple de tampons de protocole
13.3 Couches de prétraitement dans Keras
_13.3.1 Couche de normalisation
_13.3.2 Couche de discrétisation
_13.3.3 Couche d'encodage de catégorie
_13.3.4 Couche StringLookup
_13.3.5 Couche de hachage
_13.3.6 Encodage des caractéristiques catégorielles à l'aide d'embeddings
_13.3.7 Prétraitement du texte
_13.3.8 Utilisation de composants de modèle de langage pré-entraînés
_13.3.9 Couche de prétraitement d'image
13.5 Projet de jeu de données TensorFlow
Problèmes pratiques

Chapitre 14 : Vision par ordinateur à l’aide de réseaux neuronaux convolutifs

14.1 Structure du cortex visuel
14.2 Couche de convolution
_14.2.1 Filtre
_14.2.2 Superposition de plusieurs cartes de caractéristiques
14.2.3 Implémentation d'une couche de convolution avec Keras
_14.2.4 Configuration requise en mémoire
14.3 Couche de mise en commun
14.4 Implémentation d'une couche de pooling dans Keras
14.5 Structure du CNN
_14.5.1 LeNet-5
_14.5.2 AlexNet
_14.5.3 GoogleNet
_14.5.4 VGGNet
_14.5.5 ResNet
_14.5.6 Xception
_14.5.7 SENet
_14.5.8 Autres structures notables
_14.5.9 Choisir la bonne architecture CNN
14.6 Implémentation d'un réseau de neurones convolutif ResNet-34 avec Keras
14.7 Utilisation de modèles pré-entraînés dans Keras
14.8 Apprentissage par transfert à l'aide de modèles pré-entraînés
14.9 Classification et estimation de l'emplacement
14.10 Détection d'objets
_14.10.1 Réseaux neuronaux entièrement convolutifs
_14.10.2 YOLO
14.11 Suivi d'objets
14.12 Segmentation sémantique
Problèmes pratiques

Chapitre 15 Traitement de séquences à l'aide de RNN et de CNN

15.1 Neurones circulaires et couches circulaires
_15.1.1 Cellules de mémoire
_15.1.2 Séquences d'entrée et de sortie
15.2 Entraînement du RNN
15.3 Prévision des séries chronologiques
_15.3.1 Modèle ARMA
_15.3.2 Préparation des données pour les modèles d'apprentissage automatique
15.3.3 Prédiction à l'aide d'un modèle linéaire
15.3.4 Prédiction avec un RNN simple
_15.3.5 Prédiction avec les RNN profonds
15.3.6 Prévision de séries chronologiques multivariées
15.3.7 Prédiction à plusieurs étapes temporelles à l'avance
_15.3.8 Prédiction à l'aide d'un modèle séquence-à-séquence
15.4 Gestion des séquences longues
15.4.1 Combattre le problème du gradient instable
15.4.2 Résolution des problèmes de mémoire à court terme
Cellule __LSTM
Cellule __GRU
Séquences de traitement avec des couches convolutionnelles __1D
__WaveNet
Problèmes pratiques

Chapitre 16 : Traitement automatique du langage naturel à l’aide de réseaux de neurones récurrents et de l’attention

16.1 Générer des styles shakespeariens avec Char-RNN
16.1.1 Création d'un ensemble de données d'entraînement
_16.1.2 Construction et entraînement d'un modèle Char-RNN
_16.1.3 Générer du faux texte de Shakespeare
_16.1.4 RNN avec état
16.2 Analyse des sentiments
_16.2.1 Masquage
_16.2.2 Réutilisation des plongements lexicaux et des modèles de langage pré-entraînés
16.3 Réseaux encodeur-décodeur pour la traduction automatique neuronale
_16.3.1 RNN bidirectionnel
_16.3.2 Recherche par faisceau
16.4 Mécanisme de l'attention
16.4.1 Structure du transformateur : Tout ce dont vous avez besoin, c’est d’attention
__Codage de position
__Attention multi-têtes
16.5 Innovations récentes en modélisation du langage
Transformateur de vision 16,6
16.7 Bibliothèque Transformers de Hugging Face
Problèmes pratiques

Chapitre 17 : Autoencodeurs, GAN et modèles de diffusion

17.1 Représentation efficace des données
17.2 Réalisation d'une ACP avec un auto-encodeur linéaire sous-complet
17.3 Auto-encodeurs empilés
_17.3.1 Implémentation d'un auto-encodeur empilé avec Keras
_17.3.2 Visualisation de la reconstruction
_17.3.3 Visualisation du jeu de données Fashion MNIST
_17.3.4 Pré-entraînement non supervisé à l'aide d'auto-encodeurs empilés
_17.3.5 Liaison de poids
_17.3.6 Entraînement des auto-encodeurs un par un
17.4 Auto-encodeur convolutif
17.5 Encodeur automatique de réduction du bruit
17.6 Auto-encodeurs épars
17.7 Auto-encodeur variationnel
_17.7.1 Génération d'images MNIST de mode
17.8 Réseaux antagonistes génératifs
17.8.1 Difficultés rencontrées lors de l'entraînement des GAN
_17.8.2 GAN convolutionnel profond
_17.8.3 ProGAN
Couche d'écart type du mini-lot
Même vitesse d'apprentissage
Couche de normalisation pixel par pixel
_17.8.4 StyleGAN
Réseau de cartographie
réseau synthétique
17.9 Modèle de diffusion
Problèmes pratiques

Chapitre 18 : Apprentissage par renforcement

18.1 Apprendre à optimiser les récompenses
18.2 Exploration des politiques
18.3 OpenAI Gym
18.4 Politique du réseau neuronal
18.5 Évaluation comportementale : le problème de l'attribution des crédits
18.6 Gradient de politique
18.7 Processus de décision markoviens
18.8 Apprentissage par différence de temps
18.9 Apprentissage par renforcement (Q-Learning)
_18.9.1 Politique d'exploration
_18.9.2 Apprentissage par renforcement Q approximatif et apprentissage par renforcement Q profond
18.10 Mise en œuvre de l'apprentissage par renforcement profond (Deep Q-Learning)
18.11 Variations de l'apprentissage par renforcement profond (Deep Q-Learning)
_18.11.1 Cible de valeur Q fixe
_18.11.2 Double DQN
_18.11.3 Lecture de l'expérience basée sur la priorité
_18.11.4 Duel DQN
18.12 Autres algorithmes d'apprentissage par renforcement
Problèmes pratiques

Chapitre 19 : Entraînement et déploiement de modèles TensorFlow à grande échelle

19.1 Mise à disposition des modèles TensorFlow
_19.1.1 Utilisation de TensorFlow Serving
Exporter vers __SavedModel
Installation et démarrage de TensorFlow Serving
Interroger TF Serving avec une API REST
Interroger TF Serving avec l'API gRPC
__Déploiement d'une nouvelle version du modèle
_19.1.2 Création d'un service de prédiction dans Vertex AI
_19.1.3 Exécution de tâches de prédiction par lots dans Vertex AI
19.2 Déploiement de modèles sur des appareils mobiles ou embarqués
19.3 Exécution du modèle sur une page Web
19.4 Utilisation des GPU pour accélérer les calculs
_19.4.1 Acheter une carte graphique
19.4.2 Gestion de la mémoire vive du GPU
_19.4.3 Affectation des opérations et des variables aux périphériques
_19.4.4 Exécution en parallèle sur plusieurs appareils
19.5 Modèles d'entraînement sur plusieurs appareils
_19.5.1 Parallélisme du modèle
_19.5.2 Parallélisme des données
Parallélisme des données utilisant la stratégie en miroir
Parallélisme de données utilisant des paramètres centralisés
saturation de la bande passante
_19.5.3 Entraînement à grande échelle à l'aide de l'API de stratégie distribuée
_19.5.4 Entraînement d'un modèle sur un cluster TensorFlow
_19.5.5 Exécution de tâches d'entraînement à grande échelle dans Vertex AI
_19.5.6 Optimisation des hyperparamètres pour l'IA de vertex
Problèmes pratiques
En conclusion

[Partie 3 Annexe]

Annexe A : Réponses aux exercices pratiques

Annexe B Liste de contrôle du projet d'apprentissage automatique
B.1 Définir le problème et en donner une vue d'ensemble
B.2 Collecte de données
B.3 Explorer les données
B.4 Préparer les données
B.5 Choisissez quelques modèles possibles
Mise au point du modèle B.6
Présentation de la solution B.7
Lancement du système B.8 !

Annexe C Différenciation automatique
C.1 Différenciation manuelle
C.2 Approximation par différences finies
C.3 Différenciation automatique en mode direct
C.4 Différenciation automatique en mode inverse

Annexe D Structures de données spéciales
D.1 Corde
D.2 Tenseur irrégulier
D.3 Tenseurs creux
D.4 Tableaux de tenseurs
Ensemble D.5
File d'attente D.6

Annexe E Graphique TensorFlow
E.1 Fonctions TF et fonctions concrètes
E.2 Exploration des définitions et des graphiques de fonctions
E.3 Détails de traçage
E.4 Expression du flux de contrôle avec des autographes
E.5 Gestion des variables et autres ressources dans les fonctions TF
E.6 Utilisation (ou non-utilisation) des fonctions TF avec Keras

Le best-seller numéro 1 mondial, qui satisfait aussi bien les débutants que les experts.

Ce livre aborde à la fois la théorie et la pratique, vous aidant à avoir une vision d'ensemble de l'apprentissage automatique et de l'apprentissage profond.
Vous apprendrez à entraîner facilement des modèles et à construire des réseaux neuronaux, notamment grâce à des explications schématiques et à des exemples de code pratiques et à jour.
Vous pouvez également réviser ce que vous avez appris et l'appliquer à vos propres projets en résolvant les exercices pratiques proposés pour chaque chapitre.
Si vous avez une quelconque expérience en programmation Python, commencez dès maintenant.
N'importe qui peut devenir un expert en apprentissage automatique !

**Mis à jour dans la 3e édition**

-Mettez à jour l'intégralité du code avec la dernière version de la bibliothèque.
- Directives détaillées de sélection des modèles
- Nouvelles fonctionnalités dans scikit-learn et Keras
• Scikit-learn : suivi des noms de caractéristiques, boosting de gradient basé sur l’histogramme, propagation d’étiquettes, etc.
• Keras : couches de prétraitement, couches d’augmentation de données, etc.
-Ajout de bibliothèques absentes de la 2e édition
Bibliothèque Keras Tuner pour le réglage des hyperparamètres
La bibliothèque Transformers de Hugging Face pour le traitement du langage naturel
- Modèle de diffusion (diffusion stable)
- Dernières tendances et applications en vision par ordinateur et traitement du langage naturel

**À qui s'adresse ce livre ?**

-Débutants possédant des connaissances de base mais peu d'expérience pratique
- Utilisateurs de niveau intermédiaire souhaitant améliorer leurs compétences pratiques
Développeurs et ingénieurs souhaitant utiliser l'apprentissage automatique dans leurs projets.
- Les data scientists et les chercheurs travaillant sur la recherche en apprentissage automatique ou l'analyse de données.

**Avantages de ce livre**

- Explique en détail à l'aide d'exemples pratiques plutôt que de se contenter d'énumérer des théories complexes.
-Vous pouvez développer des compétences pratiques en résolution de problèmes grâce à une expérience concrète et constituer votre propre portfolio.
- Approfondissez vos connaissances des différents modèles, outils et bibliothèques d'apprentissage automatique et d'apprentissage profond.
- Reflète les dernières tendances en matière de vision par ordinateur, de traitement du langage naturel et d'apprentissage par renforcement, y compris la diffusion stable.


Exemple de source

https://github.com/rickiepark/handson-ml3