▣ Chapitre 1 : Le passé et le présent de la PNL

1.1 Étapes clés du développement du traitement automatique du langage naturel
1.2 Histoire ancienne et moments clés de la traduction automatique
1.2.1 L'étude d'Artsruny et de Troyansky
1.2.2 La proposition de Weaver et l'expérience Georgetown-IBM
1.2.3 Limites des premières traductions automatiques et une nouvelle transformation
1.3 Les débuts de l'intelligence artificielle
__1.3.1 La question de Turing : Les machines peuvent-elles penser ?
1.3.2 Limites du test de Turing
1.4 Comment l'intelligence artificielle apprend-elle ?
1.4.1 Développement des mécanismes d'apprentissage de l'intelligence artificielle
1.4.2 Perceptron : la première étape de l’apprentissage en intelligence artificielle
1.5 Algorithme de rétropropagation : une révolution dans l’apprentissage
1.5.1 Non-linéarité : la clé pour construire une IA plus intelligente
__1.5.2 Algorithme de rétropropagation
1.6 L'essor des Transformers : une nouvelle ère en PNL

▣ Chapitre 2 : GPT

2.1 Introduction et utilisation de Runpot
__2.1.1 Inscription à Runpot
__2.1.2 Crédits d'achat
__2.1.3 Configuration du pod
__2.1.4 Laboratoire Jupiter
2.2 Préparation des données et configuration du modèle
2.3 Construction d'un modèle de langage
__2.3.1 Description de la bibliothèque
__2.3.2 __init__ fonction
__2.3.3 méthode directe
__2.3.4 méthode de génération
2.4 Ajout d'un optimiseur
__2.4.1 Transmission des données au GPU
2.4.2 Création d'une fonction de perte
__2.4.3 Examiner l'intégralité du code
2.5 Ajouter l'attention à soi-même
__2.5.1 Comment les informations sont échangées entre les personnages (méthode moyenne)
__2.5.2 Échangez des informations plus rapidement grâce aux opérations de multiplication matricielle
__2.5.3 Qu’est-ce que l’attention à soi-même ?
__2.5.4 Pourquoi devrions-nous diviser par dk ?
__2.5.5 Appliquer l'attention à soi-même
2.6 Attention multi-têtes et anticipation
__2.6.1 Créer une attention multi-têtes
__2.6.2 Création d'une prévision
2.7 Création de blocs
2.8 Création d'un tokenizer
__2.8.1 Comparaison de la tokenisation en fonction des variations de la taille du vocabulaire
__2.8.2 Création d'un tokenizer

▣ Chapitre 3 : Réglage fin complet

3.1 Préparation de l'ensemble des données de réglage fin
3.1.1 Principes et types de réglage fin global
3.1.2 Tâches et ensembles de données variés
3.1.3 Prétraitement des données
3.2 Analyse des structures des modèles Gemma et Llama 3
3.2.1 Analyse de la structure du modèle Gemma
3.2.2 Comparaison des modèles Gemma et Gemma 2
3.2.3 Analyse de la structure du modèle Llama 3
3.2.4 Comparaison de GPT, Gemma et Llama
3.3 Techniques de parallélisation GPU
3.3.1 Parallélisme des données
__3.3.2 Parallélisme des modèles
__3.3.3 Parallélisation du pipeline
__3.3.4 Traitement parallèle des tenseurs
__3.3.5 FSDP
3.4 Optimisation de Gemma-2B-it à l'aide d'un seul GPU
__3.4.1 Paramètres d'environnement Runpot
3.4.2 Préparation du modèle Gemma
3.4.3 Préparation de l'ensemble de données
3.4.4 Vérification des fonctions du modèle Gemma
3.4.5 Génération de données de mots clés
3.4.6 Prétraitement des données
3.4.7 Séparation des ensembles de données et mise en place des collecteurs
3.4.8 Définition des paramètres d'apprentissage
3.4.9 Définition des indicateurs d'évaluation
3.4.10 Formation et évaluation du modèle
3.4.11 Test du modèle affiné
3.5 Optimisation de l'instruction Llama3.1-8B à l'aide de plusieurs GPU
__3.5.1 Paramètres d'environnement Runpot
__3.5.2 Paramètres d'apprentissage de Llama 3.1
3.5.3 Préparation de l'ensemble de données
__3.5.4 Paramètres du modèle Llama 3.1
3.5.5 Examen du code d'entraînement du modèle Llama 3.1
__3.5.6 Entraînement du modèle Running Llama 3.1
__3.5.7 Configuration et utilisation de Wandb
3.5.8 Test du modèle Llama 3.1 entraîné
3.5.9 Évaluation des données textuelles générées avec OpenAI
3.5.10 Calcul de la note

▣ Chapitre 4 : Techniques efficaces de réglage des paramètres (PEFT)

4.1 Théorie et pratique de LoRA
4.1.1 Concept LoRA
__4.1.2 Paramètres d'environnement Runpot
4.1.3 Préparation du modèle Gemma-2-9B-it
4.1.4 Prétraitement des données
__4.1.5 Paramètres LoRA
4.1.6 Formation des modèles
4.1.7 Test du modèle entraîné
4.1.8 Évaluation des performances du modèle avec OpenAI
4.2 Théorie et pratique de QLoRA
4.2.1 Comprendre la quantification
__4.2.2 Paramètres d'environnement Runpot
4.2.3 Préparation de l'ensemble de données
4.2.4 Définition des paramètres de quantification
4.2.5 Préparation du modèle
__4.2.6 Paramètres
4.2.7 Formation des modèles
__4.2.8 Téléchargement d'un modèle sur le Hugging Face Hub
4.2.9 Test du modèle entraîné
4.2.10 Évaluation par correspondance exacte
4.2.11 Évaluation avec l'API OpenAI

▣ Chapitre 5 : Servir avec vLLM

5.1 Principe d'attention paginé
5.2 Comment utiliser vLLM
5.3 Accélérer la vitesse de génération LLaMA3
5.4 Multi-LoRA utilisant vLLM
__5.4.1 Pratique Multi-LoRA
5.4.2 Pratique dans un environnement d'ordinateur portable
5.5 Éléments à prendre en compte lors de l'utilisation de Multi-LoRA

▣ Annexe

Révision mathématique de la rétropropagation
revue de code de rétropropagation