[Partie 1] Évolutions récentes dans le domaine, préparation au stage et premier programme Hello World

▣ Chapitre 1 : De BoW (Bag of Words) à Transformers

1.1 Évolution des approches de traitement automatique du langage naturel
1.2 Résumé des approches traditionnelles en PNL
1.2.1 Conception et création de modèles de langage
1.3 Utilisation de l'apprentissage profond
1.3.1 Prise en compte de l'ordre des mots à l'aide de modèles RNN
__1.3.2 Unité LSTM et récurrente à porte
1.3.3 Intégration contextuelle des mots et apprentissage par transfert
1.4 Aperçu de l'architecture des transformateurs
__1.4.1 Mécanisme d'attention
1.4.2 Mécanisme d'attention multi-têtes
1.5 Apprentissage par transfert (TL) à l'aide de transformateurs
1.6 Apprentissage multimodal
addition
Références

▣ Chapitre 2 : Préparation du milieu de pratique et connaissances de base

2.1 Exigences techniques
2.2 Installation de la bibliothèque Transformer avec Anaconda
__2.2.1 Installation d'Anaconda sous Linux
__2.2.2 Installation d'Anaconda sous Windows
__2.2.3 Installation d'Anaconda sur macOS
__2.2.4 Installation de TensorFlow, PyTorch et Transformer
__2.2.5 Installation et utilisation de Transformers dans Google Colab
2.3 Gestion des modèles de langage et des tokenizers
2.4 Tirer parti du modèle fourni par la communauté
2.5 Utilisation des transformateurs multimodaux
2.6 Évaluation comparative et utilisation des ensembles de données
__2.6.1 Principaux indicateurs de performance
__2.6.2 Analyse comparative de la colle
__2.6.3 Test de performance SuperGLUE
__2.6.4 Test de performance XTREME
__2.6.5 Test de performance XGLUE
__2.6.6 Benchmark SQuAD
__2.6.7 Accès aux ensembles de données via l'API
2.7 Gestion des données à l'aide de la bibliothèque de jeux de données
__2.7.1 Tri, accès par indice et mélange
__2.7.2 Mise en cache et réutilisation
__2.7.3 Filtrage à l'aide de la fonction filter
__2.7.4 Traitement des données à l'aide de la fonction map
__2.7.5 Gestion des fichiers locaux
__2.7.6 Préparation de l'ensemble de données pour l'entraînement du modèle
2.8 Tests de vitesse et d'utilisation de la mémoire
addition

[Partie 2] Différents modèles de transformateurs : des auto-encodeurs aux modèles autorégressifs

▣ Chapitre 3 : Modèle de langage d’auto-encodage

3.1 Exigences techniques
3.2 BERT : un modèle de langage d'auto-encodage
3.2.1 Tâche de pré-entraînement pour le modèle de langage BERT
3.2.2 Analyse approfondie du modèle de langage BERT
3.3 Entraînement d'un modèle de langage d'auto-encodage pour une langue arbitraire
3.4 Partage des modèles avec la communauté
3.5 Autres modèles d'auto-encodage
3.5.1 Introduction à ALBERT
Modèle RoBERTa __3.5.2
__3.5.3 ELECTRA
Modèle DeBERTa __3.5.4
3.6 Gestion des algorithmes de tokenisation
__3.6.1 BPE
__3.6.2 Tokenisation WordPiece
__3.6.3 Tokenisation des fragments de phrase
Bibliothèque de tokeniseurs __3.6.4
addition

▣ Chapitre 4 : Des modèles génératifs aux LLM (modèles de langage à grande échelle)

4.1 Exigences techniques
4.2 Introduction au GLM
4.3 Utilisation des GLM
__4.3.1 Série de modèles GPT
__4.3.2 Transformer-XL
__4.3.3 XLNet
4.4 Gestion des modèles texte-à-texte
4.4.1 Apprentissage multitâche avec T5
4.4.2 Généralisation de texte sans exemple à l'aide du modèle T0
__4.4.3 BART : Un autre modèle seq2seq basé sur la suppression du bruit
4.5 Formation GLM
4.6 Génération de langage naturel à l'aide de modèles autorégressifs
addition
Références

▣ Chapitre 5 : Optimisation d’un modèle de langage pour la classification de textes

5.1 Exigences techniques
5.2 Aperçu de la classification des textes
5.3 Optimisation du modèle BERT pour la classification binaire de phrases uniques
5.4 Entraînement d'un modèle de classification à l'aide de PyTorch natif
5.5 Optimisation d'un modèle BERT pour la classification multiclasse (à l'aide d'un jeu de données personnalisé)
5.6 Optimisation du modèle BERT pour la régression par paires de phrases
5.7 Classification de texte multi-étiquettes
5.8 Ajustement fin du modèle à l'aide de run_glue.py
addition
Références

▣ Chapitre 6 : Optimisation d’un modèle de langage pour la classification des jetons

6.1 Exigences techniques
6.2 Introduction à la classification des jetons
6.2.1 Comprendre NER
6.2.2 Comprendre l'étiquetage morphosyntaxique
__6.2.3 Comprendre le système de questions-réponses (QA)
6.3 Optimisation du modèle de langage pour la reconnaissance d'entités nommées
6.4 Question-réponse par classification de jetons
6.5 Questions et réponses pour diverses tâches
addition

▣ Chapitre 7 : Représentation du texte

7.1 Exigences techniques
7.2 Introduction aux embeddings de phrases
7.2.1 Encodeur croisé vs. double encodeur
7.3 Évaluation comparative des modèles de similarité de phrases
7.4 Apprentissage zéro-shot à l'aide du modèle BART
7.5 Expériences de similarité sémantique utilisant FLAIR
__7.5.1 Intégration moyenne des mots
7.5.2 Intégration de documents basée sur les RNN
__7.5.3 Intégration de BERT basée sur Transformer
__7.5.4 Intégration SBERT
7.6 Clustering de textes à l'aide de SBERT
__7.6.1 Modélisation de sujets à l'aide de BERTopic
7.7 Recherche sémantique avec SBERT
7.8 Réglage fin du modèle d'intégration avec les instructions
addition
Pour en savoir plus

▣ Chapitre 8 : Améliorer les performances du modèle

8.1 Exigences techniques
8.2 Amélioration des performances grâce à l'augmentation des données
8.2.1 Augmentation au niveau du personnage
8.2.2 Augmentation au niveau du mot
8.2.3 Augmentation au niveau de la phrase
8.2.4 Amélioration des performances de classification textuelle d'IMDb par l'augmentation des données
8.3 Adaptation du modèle au domaine
8.4 Technique HPO pour la détermination des hyperparamètres optimaux
addition

▣ Chapitre 9 : Réglage efficace des paramètres

9.1 Exigences techniques
9.2 Introduction au PEFT
9.3 Différents types de PEFT
9.3.1 Méthode additive
__9.3.2 Méthode optionnelle
__9.3.3 Réglage fin du coefficient faible
9.4 Exercices pratiques PEFT
__9.4.1 Réglage fin des points de contrôle BERT par ajustement des adaptateurs
__9.4.2 Optimisation efficace de FLAN-T5 pour les tâches NLI (à l'aide de LoRA)
__9.4.3 Réglage fin à l'aide de QLoRA
addition
Références

[Partie 3] Sujets avancés

▣ Chapitre 10 : LLM (Modèle de langage à grande échelle)

10.1 Exigences techniques
10.2 Pourquoi le LLM est important
10.2.1 L'importance des fonctions de récompense
10.2.2 Capacité de suivi des instructions des LLM
10.3 Optimisation des modèles de langage à grande échelle
addition

▣ Chapitre 11 : Traitement automatique du langage naturel et intelligence artificielle explicable (XAI)

11.1 Exigences techniques
11.2 Interprétation du chef d'attention
11.2.1 Visualisation des têtes d'attention à l'aide d'exBERT
__11.2.2 Visualisation multi-échelle de la tête de l'attention à l'aide de BertViz
11.2.3 Comprendre la structure interne de BERT à l'aide d'un classificateur de sonde
11.3 Explication des décisions du modèle
__11.3.1 Analyse de décision du transformateur à l'aide de LIME
__11.3.2 Analyse de décision du transformateur à l'aide de SHAP (SHapley Additive exPlanations)
addition

▣ Chapitre 12 : transformateur efficace

12.1 Exigences techniques
12.2 Présentation d'un modèle de transformateur efficace, léger et rapide
12.3 Réduction de la taille du modèle
12.3.1 Distillation des connaissances avec DistilBERT
__12.3.2 Élagage du modèle Transformer
__12.3.3 Quantification
12.4 Utilisation de mécanismes d'auto-attention efficaces
12.4.1 Auto-attention éparse basée sur des modèles fixes
__12.4.2 Modèles apprenables
__12.4.3 Décomposition à faible comptage, méthodes nucléaires et autres approches
Quantification simplifiée grâce à l'utilisation de 12,5 bits et octets
addition
Références

▣ Chapitre 13 : Modélisation linguistique interlingue et multilingue

13.1 Exigences techniques
13.2 Modélisation du langage de traduction et partage des connaissances interlinguistiques
13.3 XLM et mBERT
Modèle mBERT __13.3.1
__13.3.2 XLM
13.4 Tâche de similarité interlinguistique
__13.4.1 Similarité textuelle interlingue
__13.4.2 Visualisation de la similarité textuelle interlingue
13.5 Classification interlinguistique
13.6 Apprentissage zéro exemple interlingue
13.7 Traduction multilingue à grande échelle
__13.7.1 Performances du modèle multilingue affiné
addition
Références

▣ Chapitre 14 : Prestation de services des modèles de transformateurs

14.1 Exigences techniques
14.2 Fourniture de services de modèle Transformer à l'aide de FastAPI
14.3 Dockerisation de l'API
14.4 Fourniture d'un service de modélisation de transformateurs plus rapide grâce à TFX
14.5 Tests de charge avec Locust
14.6 Inférence plus rapide avec ONNX
14.7 Inférence SageMaker
addition
Pour en savoir plus

▣ Chapitre 15 : Suivi et surveillance des modèles

15.1 Exigences techniques
15.2 Indicateurs du modèle de suivi
__15.2.1 Suivi de l'entraînement du modèle à l'aide de TensorBoard
15.2.2 Suivi en temps réel de l'entraînement du modèle à l'aide de W&B
addition
Pour en savoir plus

[Partie 4] Utiliser Transformer au-delà du traitement automatique du langage naturel

▣ Chapitre 16 : Transformateur de vision (ViT)

16.1 Exigences techniques
16.2 Transformateur de vision (ViT)
16.3 Classification d'images à l'aide de transformateurs
16.4 Segmentation sémantique et détection d'objets à l'aide de transformateurs
16.5 Modèle d'invite visuelle
addition

▣ Chapitre 17 : Transformateurs multimodaux génératifs

17.1 Exigences techniques
17.2 Apprentissage multimodal
17.2.1 IA multimodale générative
17.3 Diffusion stable pour la génération d'images à partir de texte
17.4 Génération d'images par diffusion stable
17.5 Créer de la musique avec MusicGen
17.6 Génération de parole (synthèse vocale) à l'aide de transformateurs
addition

▣ Chapitre 18 : Repenser l’architecture des transformateurs pour les données de séries temporelles

18.1 Exigences techniques
18.2 Concepts de base des données de séries chronologiques
18.3 Transformateurs et modélisation des séries temporelles
addition

★ Ce que ce livre aborde ★

◎ Se concentrer sur la résolution de divers problèmes de NLP, des plus simples aux plus complexes, à l'aide de Python.
◎ Apprenez à résoudre les problèmes de classification/régression à l'aide des approches NLP traditionnelles.
◎ Comprendre comment entraîner un modèle de langage et l'affiner pour des sous-tâches.
◎ Apprenez à utiliser les Transformers pour les tâches d'IA générative et de vision par ordinateur.
◎ Créez une application NLP basée sur Transformer en utilisant la bibliothèque Transformers de Hugging Face.
◎ Effectue des tâches de génération de langage multilingues telles que la traduction automatique et l'IA conversationnelle.
◎ Décrit une technique d'amélioration de l'efficacité pour augmenter la vitesse d'inférence du modèle de transformateur et réduire le temps de retard.