Partie 1 | Réseaux neuronaux et apprentissage profond

Chapitre 1 : Intégration, espace latent et représentation
1.1 Intégration
1.2 Espace potentiel
1.3 Expression
1.4 Exercices pratiques
1.5 Référence

Chapitre 2 L'apprentissage autodirigé
2.1 Apprentissage auto-supervisé vs. apprentissage par transfert
2.2 Utilisation de données non étiquetées
2.3 Apprentissage auto-prédictif et auto-supervisé par contraste
2.4 Exercices pratiques
Note 2.5

Chapitre 3 : Apprentissage avec peu d’exemples
3.1 Ensembles de données et terminologie
3.2 Exercices pratiques

Chapitre 4 : L’hypothèse du billet de loterie
4.1 Formation sur les billets de loterie
4.2 Implications pratiques et limitations
4.3 Exercices pratiques
4.4 Référence

Chapitre 5 : Réduire le surapprentissage grâce aux données
5.1 Méthodes représentatives
5.1.1 Collecte de données supplémentaires
5.1.2 Augmentation des données
__5.1.3 Pré-formation
5.2 Autres méthodes
5.3 Exercices pratiques
5.4 Référence

Chapitre 6 : Modification du modèle pour réduire le surapprentissage
6.1 Méthode générale
6.1.1 Règlement
6.1.2 Petit modèle
6.1.3 Remarques sur les petits modèles
__6.1.4 Méthodes d'ensemble
6.2 Autres méthodes
6.3 Choix d’une technique réglementaire
6.4 Exercices pratiques
6.5 Référence

Chapitre 7 Paradigme d'entraînement multi-GPU
7.1 Paradigme de formation
__7.1.1 Parallélisme des modèles
7.1.2 Parallélisme des données
7.1.3 Parallélisme tensoriel
__7.1.4 Parallélisation du pipeline
7.1.5 Parallélisme de séquence
7.2 Recommandation
7.3 Exercices pratiques
7.4 Référence

Chapitre 8 : Le succès des Transformers
8.1 Mécanisme de l'attention
8.2 Préformation par l'apprentissage auto-supervisé
8.3 Grand nombre de paramètres
8.4 Parallélisation facile
8.5 Exercices pratiques
Voir 8.6

Chapitre 9 Modèles d'IA générative
9.1 Modélisation générative vs. modélisation discriminative
9.2 Types de modèles génératifs profonds
__9.2.1 Modèle énergétique
__9.2.2 Auto-encodeur variationnel
__9.2.3 Réseaux antagonistes génératifs
__9.2.4 Modèle basé sur les flux
__9.2.5 Modèle autorégressif
__9.2.6 Modèle de diffusion
__9.2.7 Modèle de cohérence
9,3 Recommandé
9.4 Exercices pratiques
Voir 9.5

Chapitre 10 : Les causes du hasard
10.1 Initialisation des poids du modèle
10.2 Échantillonnage et mélange des ensembles de données
10.3 Algorithmes non déterministes
10.4 Divers algorithmes d'exécution
10.5 Matériel et pilotes
10.6 Aléatoire et IA générative
10.7 Exercices pratiques
Voir 10.8

Partie 2 | Vision par ordinateur

Chapitre 11 Nombre de paramètres
11.1 Comment calculer le nombre de paramètres
__11.1.1 Couche de convolution
__11.1.2 Couche entièrement connectée
11.2 Raisons pratiques
11.3 Exercices pratiques

Chapitre 12 Couches entièrement connectées et couches convolutionnelles
12.1 Lorsque la taille du noyau et la taille de l'entrée sont identiques
12.2 Lorsque la taille du noyau est de 1
12.3 Recommandé
12.4 Exercices pratiques

Chapitre 13 : Ensembles d’entraînement à grande échelle pour les transformateurs de vision
13.1 Biais inductif dans les CNN
13.2 ViT peut surpasser CNN
13.3 Biais inductif de ViT
13.4 Recommandé
13.5 Exercices pratiques
Voir 13.6

Partie 3 | Traitement automatique du langage naturel

Chapitre 14 Hypothèse de distribution
14.1 Word2vec, BERT, GPT
14.2 L’hypothèse est-elle valide ?
14.3 Exercices pratiques
14.4 Référence

Chapitre 15 : Enrichissement des données textuelles
15.1 Remplacement des synonymes
15.2 Suppression de mots
15.3 Changement de position des mots
15.4 Mélange de phrases
15,5 Ajout de bruit
15.6 Traduction inverse
15.7 Données synthétiques
15,8 Recommandé
15.9 Exercices pratiques
Voir 15.10

Chapitre 16 : L'attention à soi-même
16.1 Mécanisme d'attention des RNN
16.2 Mécanisme d'auto-attention
16.3 Exercices pratiques
Voir 16.4

Chapitre 17 : Transformateurs à encodeur et transformateurs à décodeur
17.1 Transformateur d'origine
17.2 Encodeur
Décodeur 17.3
17.4 Encodeur-décodeur
17.5 Note sur la terminologie
17.6 Dernier modèle de transformateur
17.7 Exercices pratiques
Voir 17.8

Chapitre 18 : Utilisation et optimisation des modèles de transformateurs pré-entraînés
18.1 Utilisation des transformateurs pour les tâches de classification
18.2 Apprentissage en contexte, indexation et réglage des invites
18,3 PEFT
18.4 RLHF
18.5 Application d'un modèle pré-entraîné
18.6 Exercices pratiques
Voir 18.7

Chapitre 19 : Évaluation des modèles de langage génératifs à grande échelle
19.1 Critères d'évaluation du LLM
19.2 Congestion
Score BLEU de 19,3
Score ROUGE 19,4
Score BERTScore : 19,5
19.6 Indicateurs d'évaluation par procuration
19.7 Exercices pratiques
Voir 19.8

Partie 4 | Développement et distribution des produits

Chapitre 20 : Formation sans état et formation avec état
20.1 Formation des apatrides
20.2 Formation avec état
20.3 Exercices pratiques

Chapitre 21 : IA axée sur les données
21.1 IA basée sur les données et IA basée sur les modèles
21.2 Recommandations
21.3 Exercices pratiques
Voir 21.4

Chapitre 22 : Accélérer l’inférence
22.1 Parallélisation
22.2 Vectorisation
22.3 Pavage en boucle
22.4 Fusion des opérateurs
22.5 Quantification
22.6 Exercices pratiques
22.7 Référence

Chapitre 23 : Évolution de la distribution des données
23.1 Modifications des covariables
23.2 Modifications d'étiquettes
23.3 Changement conceptuel
23.4 Modifications du domaine
23.5 Types de modifications de la distribution des données
23.6 Exercices pratiques
Voir 23.7

Partie 5 | Performance prédictive et évaluation du modèle

Chapitre 24 : Régression de Poisson et régression ordinale
24.1 Exercices pratiques

Chapitre 25 Intervalles de confiance
25.1 Définition des intervalles de confiance
25.2 Méthode
25.2.1 Méthode 1 : Intervalle d’approximation normale
__25.2.2 Méthode 2 : Initialisation de l’ensemble d’entraînement
__25.2.3 Méthode 3 : Prédictions par amorçage de l’ensemble de test
__25.2.4 Méthode 4 : Réentraînement du modèle avec une graine aléatoire différente
25.3 Recommandations
25.4 Exercices pratiques
25.5 Référence

Chapitre 26 : Intervalles de confiance vs. prédictions conformes
26.1 Intervalles de confiance et intervalles de prédiction
26.2 Intervalles de prédiction et prédiction conforme
26.3 Domaine de prédiction, intervalle de prédiction et ensemble de prédiction
26.4 Calcul des prédictions conformes
26.5 Exemple de prédiction conforme
26.6 Avantages de la prédiction conforme
26.7 Recommandations
26.8 Exercices pratiques
Voir 26.9

Chapitre 27 Indicateurs de mesure appropriés
27.1 Conditions
27.2 Erreur quadratique moyenne
27.3 Perte d'entropie croisée
27.4 Exercices pratiques

Chapitre 28 k dans la validation croisée à k plis
Compromis liés au choix de la valeur de 28,1 k
28.2 Détermination d'une valeur appropriée de k
28.3 Exercices pratiques
Voir 28.4

Chapitre 29 : Inadéquation entre les ensembles d’entraînement et de test
29.1 Exercices pratiques

Chapitre 30 Données d'étiquetage limitées
30.1 Amélioration des performances du modèle avec des données d'étiquetage limitées
30.1.1 Étiquetage de données supplémentaires
__30.1.2 Amorçage des données
30.1.3 Apprentissage par transfert
30.1.4 Apprentissage autodirigé
30.1.5 Apprentissage actif
30.1.6 Apprentissage avec peu d'exemples
__30.1.7 Méta-apprentissage
__30.1.8 Apprentissage faiblement supervisé
30.1.9 Apprentissage semi-supervisé
__30.1.10 Autoformation
__30.1.11 Apprentissage multitâche
__30.1.12 Apprentissage multimodal
__30.1.13 Biais inductif
30.2 Recommandations
30.3 Exercices pratiques
Voir 30.4

Réponses aux exercices de l'annexe

Recherche

« Au-delà des bases » (Chris Albon, directeur de l'apprentissage automatique, Fondation Wikimedia)

Si vous êtes prêt à approfondir vos connaissances en apprentissage automatique, en apprentissage profond et en intelligence artificielle au-delà des notions de base, ce livre, structuré sous forme de questions-réponses, vous aidera à démarrer rapidement et facilement.


Ce livre est né des questions fréquemment posées à l'auteur Sebastian Rasica.
Il aborde des sujets complexes de manière directe, simple et claire, les rendant plus faciles à comprendre et très intéressants.
Chaque chapitre est concis et autonome, abordant une question fondamentale sur l'IA.
Répond à vos questions avec des explications claires, des schémas et des exercices pratiques.

Ce que ce livre couvre

• Questions fondamentales : Répondre de manière concise aux questions fondamentales sur l'IA et décomposer les concepts complexes en éléments faciles à comprendre.
ㆍ Large éventail de sujets : Couvre un large éventail de sujets, de l'architecture des réseaux neuronaux et de l'évaluation des modèles à la vision par ordinateur et au traitement du langage naturel.
• Application pratique : Apprenez des techniques telles que l’amélioration des performances du modèle et le réglage fin des modèles à grande échelle.

Il contient également les éléments suivants :

Gestion de divers facteurs d'aléatoire dans l'apprentissage des réseaux neuronaux
Comprendre la différence entre les architectures d'encodeur et de décodeur dans les modèles de langage à grande échelle
• Réduire le surapprentissage en modifiant les données et les modèles
• Construire des intervalles de confiance pour les modèles de classification et optimiser les modèles lorsque les données d'étiquetage sont insuffisantes.
ㆍ Choisissez parmi une variété de paradigmes d'entraînement multi-GPU et de types de modèles d'IA génératifs.
Comprendre les indicateurs de performance du traitement automatique du langage naturel
Comprendre le biais inductif dans les transformateurs de vision

Si vous recherchez le livre idéal pour approfondir vos connaissances en apprentissage automatique, « Machine Learning Q&AI » vous permettra d'aller bien au-delà des notions de base.

[Préface de l'auteur]

Dans cet ouvrage, le terme « apprentissage automatique » est utilisé au sens large, englobant l'apprentissage automatique, l'apprentissage profond et l'intelligence artificielle.
Chaque chapitre, structuré autour de questions liées aux concepts clés de l'apprentissage automatique, de l'apprentissage profond et de l'IA, utilise un style de questions-réponses unique.
Toutes les questions sont accompagnées d'explications, de diverses images et graphiques, ainsi que d'exercices pratiques pour faciliter la compréhension.
De nombreux chapitres incluent également des documents de référence pour approfondir le sujet.


Ce livre aborde un large éventail de sujets.
L’acquisition de nouvelles connaissances sur les architectures existantes, telles que les réseaux neuronaux convolutifs, nous permettra d’exploiter plus efficacement cette technologie.
Nous abordons également des techniques avancées telles que les modèles de langage à grande échelle (LLM) et le fonctionnement interne des transformateurs de vision.
Même les chercheurs et technologues expérimentés en apprentissage automatique trouveront de nouveaux outils à ajouter à leur boîte à outils.

[Préface du traducteur]

Comme l'indique l'auteur, ce livre est conçu pour aider les lecteurs ayant lu le livre d'introduction à passer au niveau suivant.
Tout en traduisant, j'ai également appris beaucoup de choses nouvelles.
Contrairement aux ouvrages classiques sur l'apprentissage automatique, il ne contient ni formules ni code, ce qui le rend accessible à tous.
J'espère que ce livre vous sera utile dans votre parcours en apprentissage automatique.

Les errata de ce livre seront publiés sur le blog (https://tensorflow.blog/ml-q-and-ai).
Veuillez vérifier avant de lire le livre.
Tout ce qui concerne ce livre est le bienvenu.
N'hésitez pas à me contacter à tout moment par blog ou par e-mail.

[Avis d'un lecteur bêta]

Ce livre est présenté sous forme de questions-réponses avec les lecteurs et illustré de manière claire et concise. Les lecteurs, qu'ils soient simplement curieux ou experts en IA, pourront trouver des réponses à de nombreuses questions et approfondir leurs connaissances.

- Shim Hyeong-gwang, développeur front-end et back-end, informations d'identification coréennes

Ce livre aborde des sujets en profondeur et s'adresse à ceux qui maîtrisent les bases de l'apprentissage automatique et de l'apprentissage profond. Il propose des exercices pour un apprentissage autonome et des ressources documentaires pour approfondir le sujet.
Au-delà des simples explications théoriques, il présente également des cas d'application pratiques et les dernières tendances de la recherche, donnant aux lecteurs le sentiment d'être à la pointe du domaine de l'IA.
Globalement, il s'agit d'un ouvrage très utile pour quiconque souhaite approfondir ses connaissances dans le domaine de l'apprentissage automatique.
- Sanggil Park, ingénieur logiciel, Viv Studios

C'est amusant et facile, comme lire un article de blog.
Au lieu d'énumérer de manière rigide des concepts complexes, nous les expliquons comme si nous déroulions une histoire intéressante.
J'ai particulièrement apprécié que chaque sujet soit court et indépendant, ce qui me permettait de lire d'abord les parties qui m'intriguaient.
- Hyunseok Jo, ingénieur logiciel, Lableup Co., Ltd.

Cet ouvrage aborde non seulement les connaissances techniques nécessaires à la mise en œuvre de modèles d'apprentissage automatique et d'apprentissage profond, mais aussi leur utilisation dans le cadre de services. Il fournit également des explications pratiques sur l'application concrète des algorithmes en milieu industriel, ce qui en fait une ressource précieuse pour les chercheurs et les praticiens en IA.
Il se distingue notamment par sa présentation logique des limites d'une technique particulière, qui n'est pas toujours le meilleur choix.

- Lee Ho-min, ingénieur indépendant en apprentissage automatique

Ce livre se compose de questions-réponses sur les concepts clés de l'apprentissage automatique, de l'apprentissage profond et de l'IA, et suggère des implications pour l'apprentissage au-delà des concepts de base, en allant au-delà des formules conventionnelles et de l'apprentissage centré sur le code.
Je recommande vivement ce livre à tous ceux qui souhaitent explorer leur parcours d'apprentissage et approfondir les concepts clés après avoir débuté dans le domaine de l'apprentissage automatique.
- Seungmin Lim_cslee, ingénieur logiciel

Il organise clairement les informations essentielles que vous devez connaître pour bien étudier l'apprentissage automatique.
Je pense qu'il est essentiel de comprendre non seulement comment utiliser l'IA comme un outil, mais aussi comment elle fonctionne et quels avantages elle apporte.

— Kang Min-jae, Département de génie électrique et électronique, Université Sungkyunkwan

La plupart des autres livres sur l'informatique se concentrent sur la programmation, mais celui-ci est différent.
Il était organisé de telle sorte que je pouvais facilement lire le contenu que je souhaitais connaître, ce qui m'a beaucoup aidé à comprendre facilement des concepts qui m'étaient inconnus.

Kim Jin-hyeok, professeur d'information au lycée de Dongyang

En tant qu'analyste de données et responsable d'activités liées aux centres de données, je lis constamment des ouvrages sur l'apprentissage automatique et la modélisation des données.
Pour ceux qui travaillent dans ce secteur, je pense que c'est un bon ouvrage de référence pour les concepts pertinents et les méthodes pratiques permettant de les appliquer.
Park Kyung-ho, analyste de données, LS Electric