▣ Chapitre 1 : Des mots qui éveillent : Pourquoi les LLM reçoivent l’attention qu’ils méritent

1.1 LLM accélère la communication
1.2 Construisez votre propre LLM ou achetez-le ?
1.2.1 Achat : Le chemin bien tracé
1.2.2 L'autoconstruction : la voie la moins fréquentée
__1.2.3 Un avertissement : embrassez l'avenir dès maintenant.
1.3 Briser la superstition
addition

▣ Chapitre 2 : Comprendre la modélisation du langage : une analyse approfondie

2.1 Modélisation du langage
2.1.1 Caractéristiques linguistiques
__2.1.2 Sémiotique
2.1.3 Traitement automatique du langage naturel multilingue
2.2 Techniques de modélisation du langage
2.2.1 Techniques basées sur les n-grammes et les corpus
__2.2.2 Technique bayésienne
__2.2.3 Chaîne de Markov
__2.2.4 Modélisation continue du langage
__2.2.5 Intégration
__2.2.6 Perceptron multicouche (MLP)
__2.2.7 Réseaux de neurones récurrents (RNN) et réseaux de mémoire à long terme (LSTM)
__2.2.8 Mécanisme de l'attention
2.3 « L’attention est tout ce dont vous avez besoin »
__2.3.1 Encodeur
Décodeur __2.3.2
__2.3.3 Transformateur
2.4 Modèle de transformateur de très grande taille
addition

▣ Chapitre 3 : Opérations LLM : Créer une plateforme pour le LLM

3.1 Introduction aux opérations LLM
3.2 Les défis liés à la gestion d'un LLM
3.2.1 Temps de téléchargement longs
3.2.2 Temps de déploiement plus longs
3.2.3 Délai
3.2.4 Gestion du GPU
3.2.5 Caractéristiques particulières des données textuelles
3.2.6 Goulot d'étranglement dû à la limite de jetons
3.2.7 Confusion due à des hallucinations
3.2.8 Biais et considérations éthiques
3.2.9 Problèmes de sécurité
3.2.10 Gestion des coûts
3.3 Éléments clés des opérations LLM
__3.3.1 compression
__3.3.2 Informatique distribuée
3.4 Infrastructure opérationnelle LLM
3.4.1 Infrastructure de données
__3.4.2 Suivi des expériences
3.4.3 Registre des modèles
__3.4.4 Référentiel de fonctionnalités
__3.4.5 Base de données vectorielles
3.4.6 Système de surveillance
__3.4.7 Station de travail avec GPU
3.4.8 Service de distribution
addition

▣ Chapitre 4 : Ingénierie des données pour le LLM : Se préparer à la réussite

4.1 Le modèle comme fondement
__4.1.1 GPT
__4.1.2 FLORAISON
__4.1.3 Rama
__4.1.4 Magicien
__4.1.5 Faucon
__4.1.6 Vigogne
__4.1.7 Dolly
__4.1.8 Ouvrir le chat
4.2 Évaluation du LLM
4.2.1 Métriques pour l'évaluation de texte
4.2.2 Principaux indicateurs de référence du secteur
4.2.3 Références en matière d'IA responsable
4.2.4 Élaboration de votre propre référentiel
4.2.5 Évaluation du générateur de code
4.2.6 Évaluation des paramètres du modèle
4.3 Données pour LLM
4.3.1 Jeux de données à connaître
4.3.2 Nettoyage et préparation des données
4.4 Traitement de texte
4.4.1 Tokenisation
__4.4.2 Intégration
4.5 Préparation du jeu de données Slack
addition

▣ Chapitre 5 : Formation LLM : Comment créer un générateur

5.1 Environnement multi-GPU
__5.1.1 Préférences
__5.1.2 Bibliothèque
5.2 Techniques de formation de base
5.2.1 Formation à partir des bases
__5.2.2 Apprentissage par transfert (mise au point)
5.2.3 Incitation
5.3 Techniques d'entraînement avancées
__5.3.1 Réglage rapide
5.3.2 Ajustement fin par distillation des connaissances
__5.3.3 RLHF (Apprentissage par renforcement basé sur le retour d'information humain)
__5.3.4 Mélange d'experts (MoE)
__5.3.5 LoRA et PEFT
5.4 Conseils et astuces d'entraînement
5.4.1 Remarque sur la taille des données d'entraînement
5.4.2 Formation efficace
5.4.3 Le piège des valeurs extrêmes
__5.4.4 Conseils de réglage des hyperparamètres
5.4.5 Remarques sur les systèmes d'exploitation
5.4.6 Conseils relatifs à la fonction d'activation
addition

▣ Chapitre 6 : Créer un service de LLM : Guide pratique

6.1 Création d'un service LLM
6.1.1 Compilation du modèle
__6.1.2 Stratégie de stockage LLM
6.1.3 Traitement adaptatif des requêtes
6.1.4 Contrôle du débit
__6.1.5 Flux de réponses
__6.1.6 Référentiel de fonctionnalités
__6.1.7 RAG (Génération d'augmentation de la recherche)
__6.1.8 Bibliothèque de services LLM
6.2 Construction d'infrastructures
6.2.1 Préparation du cluster
__6.2.2 Auto-expansion
Mise à jour progressive 6.2.3
6.2.4 Graphe d'inférence
6.2.5 Surveillance
6.3 Défis de production
6.3.1 Mise à jour et réentraînement du modèle
6.3.2 Tests de charge
6.3.3 Résolution des problèmes de latence
6.3.4 Gestion des ressources
6.3.5 Ingénierie des coûts
6.3.6 Sécurité
6.4 Déploiement en périphérie
addition

▣ Chapitre 7 : Ingénierie rapide : Devenir formateur LLM

7.1 Invite du modèle
__7.1.1 Incitation à quelques coups
__7.1.2 Suggestion ponctuelle
__7.1.3 Invite zéro-shot
7.2 Principes fondamentaux de l'ingénierie rapide
__7.2.1 Anatomie d'une invite
__7.2.2 Invite à saisir les hyperparamètres
7.2.3 Analyse des données d'entraînement
7.3 Outils d'ingénierie rapide
__7.3.1 Chaîne de langage
__7.3.2 Orientations
__7.3.3 DSPy
__7.3.4 Il existe d'autres outils aussi…
7.4 Techniques avancées d'ingénierie des prompts
7.4.1 Fournir des outils pour le LLM
__7.4.2 Réagir
addition

▣ Chapitre 8 : Applications du LLM : Création d’expériences interactives

8.1 Création d'une application
8.1.1 Diffusion en continu côté client
8.1.2 Conserver l'historique des conversations
8.1.3 Fonctionnalités d'interaction du chatbot
8.1.4 Compteur de jetons
__8.1.5 Application RAG
8.2 Applications Edge
8.3 Agent LLM
addition

▣ Chapitre 9 : Création d’un projet de LLM : Réimplémentation de Rama3

9.1 Réimplémentation du lama de Meta
__9.1.1 Tokenisation et paramètres
9.1.2 Préparation de l'ensemble de données, chargement des données, évaluation et génération
__9.1.3 Architecture du modèle
9.2 Rama3 simplifié
9.3 Améliorations du modèle
__9.3.1 Quantification
__9.3.2 LoRA
__9.3.3 Application FSDP QLoRA
9.4 Déploiement du modèle dans l'espace du visage enlacé
addition

▣ Chapitre 10 : Créer un projet de copilote de codage : cela sera-t-il réellement utile ?

10.1 Exemple de modèle
10.2 Les données sont reines
__10.2.1 Exemple de base de données vectorielle
__10.2.2 Exemple de jeu de données
__10.2.3 Application RAG
10.3 Création d'une extension VS Code
10.4 Leçons apprises et prochaines étapes
addition

▣ Chapitre 11 : Déploiement de LLM sur un Raspberry Pi : Jusqu'où peut-on le miniaturiser ?

11.1 Configuration du Raspberry Pi
__11.1.1 Préparation des images du système d'exploitation à l'aide de Pie Imager
__11.1.2 Connexion au Pi
__11.1.3 Installation et mise à jour du logiciel
11.2 Préparation du modèle
11.3 Modèle de service
11.4 Améliorations
__11.4.1 Meilleure interface
__11.4.2 Modifications de la quantification
__11.4.3 Ajout de plusieurs fenêtres modales
__11.4.4 Déploiement de modèles dans Google Colab
addition

▣ Chapitre 12 : La production, un paysage en constante évolution : Ce n’est que le début.

12.1 Vue d'ensemble
12.2 L'avenir du LLM
12.2.1 Gouvernement et réglementation
__12.2.2 LLM continue de se développer
__12.2.3 Espace multimodal
__12.2.4 Ensemble de données
12.2.5 Résolution du problème des hallucinations
__12.2.6 Nouveau matériel
__12.2.7 L’utilité de l’agent sera prouvée.
12.3 Remarques finales
addition

▣ Annexe A : Bref historique de la linguistique

A.1 Linguistique ancienne
A.2 Linguistique médiévale
A.3 Linguistique de la Renaissance et linguistique moderne
A.4 Linguistique du début du XXe siècle
A.5 Linguistique du milieu du XXe siècle et linguistique moderne

▣ Annexe B : RLHF (Apprentissage par renforcement basé sur le retour d’information humain)

▣ Annexe C : Espace latent multimodal

★ Ce que ce livre aborde ★

◎ Concepts de base et technologies fondamentales du LLM
◎ Comment évaluer s'il vaut mieux utiliser un LLM pré-entraîné ou en créer un soi-même
◎ Comment faire évoluer efficacement les plateformes d'apprentissage automatique pour répondre aux exigences LLM
◎ Comment entraîner le modèle de base du LLM et affiner le LLM existant
◎ Comment déployer LLM sur le cloud et les périphériques en tirant parti d'architectures complexes telles que PEFT et LoRA.
◎ Comment concevoir une application qui maximise les atouts du LLM tout en compensant ses faiblesses

« LLM en production » fournit des informations essentielles pour déployer facilement des modèles linéaires latents (LLM) en production grâce au MLops. Il propose des conseils pratiques, depuis la sécurisation des jeux de données adaptés à l'entraînement des LLM jusqu'à la création de plateformes et la résolution des problèmes liés aux modèles de grande taille.
Nous abordons également des conseils et des techniques pratiques pour l'ingénierie rapide, le réentraînement des modèles, les tests de charge, la gestion des coûts et le renforcement de la sécurité.