Partie 1 : Comprendre les modèles de langage

Chapitre 1 : Introduction aux modèles de langage à grande échelle
_1.1 Qu'est-ce que l'IA du langage ?
1.2 Histoire récente de l'IA du langage
_1.3 Définition de « modèle de langage à grande échelle »
1.4 Paradigmes d'entraînement pour les modèles de langage à grande échelle
_1.5 Applications des modèles de langage à grande échelle : pourquoi sont-elles utiles ?
1.6 Développement et utilisation responsables des LLM
_1.7 Ce n'est pas grave si vous manquez de ressources.
_1.8 Interface de modèle de langage à grande échelle
_1.9 Créer votre premier texte
_1.10 Résumé

Chapitre 2 : Jetons et plongements
_2.1 Tokenisation LLM
_2.2 Intégration de jetons
_2.3 Intégrations de texte (phrases et documents entiers)
2.4 Les plongements lexicaux au-delà du LLM
2.5 Intégration pour les systèmes de recommandation
_2.6 Résumé

Chapitre 3 : Un examen plus approfondi des modèles de langage à grande échelle
3.1 Aperçu du modèle de transformateur
3.2 Progrès récents dans l'architecture des transformateurs
3.3 Résumé

Partie 2 : Utilisation de modèles de langage pré-entraînés

Chapitre 4 Classification des textes
_4.1 Ensemble de données de critiques de films
4.2 Classification de textes à l'aide de modèles de représentation
_4.3 Sélection du modèle
4.4 Utilisation de modèles spécifiques à la tâche
_4.5 Réalisation de tâches de classification à l'aide d'embeddings
_4.6 Classification de texte avec des modèles génératifs
4.7 Résumé

Chapitre 5 : Regroupement de textes et modélisation thématique
5.1 Archives : Calcul et langage
_5.2 Pipeline pour le clustering de texte
5.3 Du regroupement de textes à la modélisation thématique
5.4 Résumé

Chapitre 6 : Ingénierie rapide
6.1 Utilisation du modèle de génération de texte
6.2 Introduction à l'ingénierie rapide
6.3 Ingénierie avancée des prompts
6.4 Inférence à l'aide de modèles génératifs
_6.5 Vérification de la sortie
_6.6 Résumé

Chapitre 7 Techniques et outils avancés de génération de texte
_7.1 Entrées/sorties de modèles : chargement de modèles quantifiés avec des chaînes de Lang
_7.2 Chaîne : Développement des capacités du LLM
7.3 Mémoire : Aider les LLM à se souvenir des conversations
_7.4 Agent : Construction d'un système LLM
_7.5 Résumé

Chapitre 8 : Recherche sémantique et RAG
8.1 Introduction à la recherche sémantique et à RAG
8.2 Recherche sémantique à l'aide de modèles de langage
_8.3 RAG
8.4 Résumé

Chapitre 9 : Modèles de langage multimodaux à grande échelle
_9.1 Transformateur de vision
_9.2 Modèle d'intégration multimodale
9.3 Rendre le modèle de génération de texte multimodal
_9.4 Résumé

Partie 3 : Entraînement et optimisation des modèles de langage

Chapitre 10 : Construction d’un modèle d’intégration de texte
_10.1 Modèle d'intégration
_10.2 Qu’est-ce que l’apprentissage contrastif ?
_10.3 SBERT
10.4 Création d'un modèle d'intégration
_10.5 Ajustement du modèle d'intégration
10.6 Apprentissage non supervisé
_10.7 Résumé

Chapitre 11 : Optimisation des modèles de représentation pour la classification
_11.1 Classification des cartes
_11.2 Classification Fewshot
_11.3 Poursuite du réglage fin avec la modélisation du langage masqué
_11.4 Reconnaissance des entités nommées
_11.5 Résumé

Chapitre 12 : Optimisation du modèle génératif
12.1 Trois étapes de la formation LLM : préformation, apprentissage supervisé, perfectionnement et ajustement des préférences
12.2 Optimisation de l'apprentissage supervisé
_12.3 Réglage basé sur les instructions à l'aide de QLoRA
12.4 Évaluation du modèle génératif
_12.5 Réglage/Tri des préférences/RLHF
12.6 Automatisation de l'évaluation des préférences à l'aide d'un modèle de récompense
_12.7 Réglage des préférences à l'aide du DPO
_12.8 Résumé

En conclusion

Les modèles de langage à grande échelle (LLM) transforment fondamentalement la façon dont les humains communiquent.
La capacité des machines à comprendre et à générer le langage humain a non seulement ouvert de nouveaux horizons dans le domaine de l'intelligence artificielle, mais elle révolutionne également des secteurs d'activité dans tous les domaines.

Ce livre offre un guide clair et visuel à travers le monde complexe du LLM.
Des représentations de mots simples antérieures à l'apprentissage profond aux architectures de transformateurs les plus récentes, l'évolution des LLM est visible en un coup d'œil.
Les lecteurs comprendront le fonctionnement interne du LLM et exploreront de première main sa structure, ses méthodes de formation et ses différentes techniques de perfectionnement.

Axé sur les applications pratiques, cet ouvrage explore un large éventail d'exemples d'application du LLM, allant de la classification de textes, du clustering et de la modélisation thématique à la création de chatbots et de moteurs de recherche.
Des explications intuitives, des schémas visuels et un code pratique sont harmonieusement combinés pour faciliter la compréhension des lecteurs.

Que vous soyez débutant et fassiez vos premiers pas dans le domaine de l'IA et des modèles linguistiques, ou professionnel souhaitant approfondir vos connaissances, nous vous invitons à découvrir le monde passionnant du LLM.
Grâce à ce livre, chacun peut découvrir par lui-même les possibilités infinies d'un LLM.

● Structure d'un modèle de langage transformateur qui excelle dans la génération et l'expression de texte
● Pipeline LLM avancé pour regrouper les documents textuels et identifier les sujets
● Créer un moteur de recherche sémantique qui va au-delà de la recherche par mots-clés grâce à des méthodes telles que la recherche dense et le reclassement.
Comment utiliser les modèles génératifs, de l'ingénierie des prompts à la génération d'augmentations de recherche
● Comment entraîner et optimiser un LLM pour des applications spécifiques en utilisant des techniques telles que le réglage fin, l'apprentissage de dictionnaires génératifs et l'apprentissage contextuel.

Structure de ce livre

Partie 1 : Comprendre les modèles de langage
● Le fonctionnement interne des modèles de langage à petite et à grande échelle
● Deux éléments clés d'un modèle de langage : la tokenisation et l'intégration
● Structure du modèle d'un transformateur telle qu'elle apparaît sur l'image

Partie 2 : Utilisation d'un modèle de langage pré-entraîné
● Classification par apprentissage supervisé
● Regroupement de textes et modélisation thématique
Recherche sémantique à l'aide de modèles d'intégration
● Modèle de génération de texte
● Comment utiliser les modèles de langage dans le domaine de la vision

Partie 3 : Entraînement et optimisation d’un modèle de langage
● Comment créer et optimiser un modèle d'intégration
● Comment optimiser BERT pour la classification
● Comment affiner le modèle génératif

Public cible
● Si vous êtes curieux de savoir comment fonctionnent les services d'IA comme ChatGPT
● Étudiants et développeurs souhaitant démarrer un projet de traitement automatique du langage naturel (TALN)
● Les professionnels qui envisagent des modèles commerciaux utilisant l'IA