Chapitre 1 Chat GPT
1.1 Qu'est-ce que ChatGPT ?
__1.1.1 Démarrer ChatGPT
__1.1.2 Cas d'utilisation de ChatGPT
1.2 Fonctionnalités pratiques de chat GPT
__1.2.1 Modification et manipulation des réponses au chat
1.2.2 Historique des conversations et partage
1.3 Ingénierie rapide
__1.3.1 Invites et contextes
__1.3.2 Ingénierie rapide
1.4 Moteur ChatGPT (Modèle de langage à grande échelle)
__1.4.1 GPT-4 et GPT-3.5
__1.4.2 Fonctionnalité d'intégration de la recherche Web
__1.4.3 Fonctionnalité multimodale (conversation par images)
__1.4.4 Interpréteur de code (exécution automatique de programmes)
1,5 GPT (capacités de personnalisation par IA)
__1.5.1 GPT
__1.5.2 GPT Builder
1.6 Services de chat IA autres que ChatGPT
__1.6.1 Google Gemini
__1.6.2 Microsoft Copilot
__1.6.3 Nuage anthropique
1.7 Éléments à prendre en compte lors de l'utilisation du chat IA
__1.7.1 L'aléatoire existe
__1.7.2 Erreurs possibles
__1.7.3 Actes interdits
1.7.4 Traitement des données d'entrée
__1.7.5 Précautions d'utilisation des GPT

Chapitre 2 Intelligence artificielle
2.1 IA (Intelligence Artificielle)
__2.1.1 Qu'est-ce que l'intelligence artificielle ?
2.2 Histoire de l'IA
2.2.1 Historique de la recherche en IA
2.3 Intelligence artificielle générative et intelligence artificielle générale
__2.3.1 IA générative
__2.3.2 Intelligence artificielle générale (IAG)

Chapitre 3 Apprentissage automatique et apprentissage profond
3.1 Apprentissage automatique
3.1.1 Apprentissage automatique ≠ Machines apprenant par elles-mêmes
3.1.2 Types d'apprentissage automatique
3.1.3 Inférence et apprentissage
3.1.4 Optimisation
3.1.5 Généralisation et surapprentissage
3.2 Réseaux neuronaux
__3.2.1 Qu'est-ce qu'un réseau neuronal ?
3.2.2 Structure du réseau neuronal
3.3 Entraînement des réseaux neuronaux
3.3.1 Apprentissage par descente de gradient
3.3.2 Rétropropagation des erreurs
3.4 Normalisation
__3.4.1 Abandon
3.4.2 Normalisation par lots
3.4.3 Réseau neuronal résiduel
3.5 Comment manipuler les nombres sur un ordinateur
3.5.1 Représentation des entiers et des décimaux en binaire
3.5.2 Nombres à virgule flottante
3.5.3 Formats représentatifs des nombres à virgule flottante
3.5.4 Précision et plage dynamique des nombres à virgule flottante
3.6 Quantification
3.6.1 Relation entre la taille du modèle et la VRAM du GPU
3.6.2 Quantification
3.7 Apprentissage profond avec les GPU
3.7.1 Comment effectuer des calculs plus rapidement
3.7.2 GPU vs CPU
3.7.3 La naissance des GPU et du calcul à usage général
__3.7.4 GPU et NPU spécialisés pour l'apprentissage profond
3.7.5 Prise en charge logicielle pour GPU/NPU

Chapitre 4 Traitement automatique du langage naturel
4.1 Traitement automatique du langage naturel
4.1.1 Traitement automatique du langage naturel avant l'apprentissage profond
4.1.2 Traitement automatique du langage naturel et apprentissage profond
4.2 Caractères et codes de caractères
__4.2.1 Code de caractère
__4.2.2 Unicode
4.3 Mots et jetons
4.3.1 Découpage des phrases en parties traitables par ordinateur
4.3.2 Segmentation basée sur les mots et les caractères
__4.3.3 Sous-mot
4.4 Tokeniseur
__4.4.1 Apprentissage du tokenizer
4.4.2 Compromis entre la taille du vocabulaire et le nombre de jetons
4.5 Word2Vec
__4.5.1 Comment traiter les « concepts »
4.5.2 Représentation vectorielle des mots à l'aide de Word2Vec
4.5.3 Comment Word2Vec comprend le sens des mots
4.6 Vecteur d'intégration
__4.6.1 Les vecteurs de jetons ne représentent pas de « signification ».
4.6.2 Vecteur d'intégration
__4.6.3 Divers vecteurs d'intégration

Chapitre 5 Modèles de langage à grande échelle
5.1 Modèle de langage
__5.1.1 Qu'est-ce qu'un modèle ?
__5.1.2 Qu'est-ce qu'un modèle de langage ?
5.2 Modèles de langage à grande échelle
__5.2.1 Modèles de langage à grande échelle et « capacité linguistique générale »
5.3 Polyvalence et modèles sous-jacents des réseaux neuronaux
5.3.1 Extraction de caractéristiques à l'aide de réseaux de neurones
Modèle basé sur __5.3.2
5.3.3 Comment la précision est améliorée grâce à un modèle basé sur ce principe
5.4 Lois d'échelle et émergence
5.4.1 Lois d'échelle et émergence
5.4.2 Nombre de paramètres dans les modèles de langage à grande échelle
5.5 Comment les modèles de langage génèrent du texte
5.5.1 Génération de texte à partir de modèles de langage
5.5.2 Modèle de langage autorégressif
5.5.3 Loi sur l'avidité
5.6 Stratégies de génération de texte
5.6.1 Échantillonnage aléatoire et fonction Softmax
__5.6.2 Le rôle de la « température »
5.6.3 Diagramme arborescent de génération de mots
__5.6.4 Recherche par faisceau
5.7 Conversation par IA utilisant des modèles de langage
5.7.1 Conversation par IA utilisant la génération de phrases
5.7.2 Problèmes liés au chat IA utilisant des modèles de langage à grande échelle
5.8 LLM local
__5.8.1 Qu'est-ce qu'un LLM local ?
__5.8.2 Environnement LLM local
5.8.3 Processus d'inférence utilisant un LLM local
5.9 Licence des modèles de langage à grande échelle
__5.9.1 Écosystème LLM local
__5.9.2 Licence logicielle
__5.9.3 Types de licences pour les modèles de langage à grande échelle
5.10 Évaluation des modèles de langage à grande échelle
__5.10.1 Méthodes d'évaluation des modèles de langage à grande échelle
Classement 5.10.2
5.11 Entraînement de modèles de langage à grande échelle : pré-entraînement
5.11.1 Pré-entraînement et modèles de base
5.11.2 Apprentissage autodirigé
5.11.3 Apprentissage supplémentaire du modèle de base
__5.11.4 Données d'entraînement pour le pré-apprentissage
5.12 Entraînement de modèles de langage à grande échelle : ajustement fin
__5.12.1 Réglage fin
__5.12.2 Méthode de réglage fin
__5.12.3 RLHF
__5.12.4 LoRA
5.13 Apprentissage en contexte
5.13.1 Apprentissage en contexte

Chapitre 6 Transformers
6.1 Réseaux neuronaux récurrents (RNN)
6.1.1 Dimension d'un vecteur
__6.1.2 Réseaux de neurones récurrents
6.1.3 RNN comme modèle de langage
6.1.4 Dépendances à longue distance et LSTM
__6.1.5 Encodeur-décodeur
6.2 Mécanisme de l'attention
6.2.1 Mécanismes de la cognition et de l'attention humaines
6.2.2 Principes fondamentaux du mécanisme de l'attention
6.2.3 Encodeur-décodeur et mécanisme d'attention
6.3 Calcul du mécanisme d'attention
6.3.1 Calcul du mécanisme d'attention
6.3.2 Pourquoi le mécanisme d'attention fonctionne-t-il bien ?
Transformateur 6.4
6.4.1 Configuration de base d'un transformateur
6.4.2 Encodage positionnel
6.4.3 Mécanisme d'attention multi-têtes
6.5 BERT
__6.5.1 Fonctionnalités de BERT
__6.5.2 Pré-entraînement BERT
6.6 GPT
6.6.1 Structure de base du modèle GPT
6.6.2 Mélange d'experts

Chapitre 7 : Développement de l’IA à l’aide d’API
7.1 Utilisation de l'API OpenAI
API OpenAI 7.1.1
7.1.2 Précautions à prendre lors de l'utilisation de l'API OpenAI
7.2 API de génération de texte (API de complétion, etc.)
7.2.1 Types d'API de génération de texte
7.3 Frais de l'API OpenAI
7.3.1 Jetons pour l'API OpenAI
7.3.2 Types et taux des modèles de génération de texte
__7.3.3 Tiktok de la bibliothèque de tokenizer OpenAI
7.3.4 Différences dans le nombre de jetons selon la langue
7.4 Paramètres spécifiés dans l'API de génération de texte
__7.4.1 Paramètres de l'API de génération de texte
7.5 Intégration de l'API de génération de texte avec des outils externes : appel de fonctions
7.5.1 Appel de fonctions
Bibliothèque Langchain __7.5.2
7.5.3 L'appel de fonctions en tant qu'outil lisible par machine
7.6 API d'intégration de la génération de vecteurs et API de vérification des violations de spécifications
__7.6.1 API de génération de vecteurs d'intégration
7.6.2 Types de modèles de l'API de génération de vecteurs d'intégration
7.6.3 API de vérification des violations des conditions d'utilisation (modération)
7.7 Services d'API de modèles de langage à grande échelle autres qu'OpenAI
__7.7.1 API Microsoft Azure OpenAI
__7.7.2 Google, Vertex AI
__7.7.3 Amazon, Bedrock
7.8 RAG
7.8.1 Développement d'applications d'IA utilisant des connaissances externes
__7.8.2 RAG

Chapitre 8 : L’impact des modèles de langage à grande échelle
8.1 Risques et sécurité de l'IA générative
8.1.1 L'impact négatif de l'IA générative
8.1.2 Exploitation de l'IA générative
8.1.3 Risque de production de résultats inappropriés par l'IA générative
8.1.4 Attaques de services utilisant l'IA générative
8.1.5 Contre-mesures et lignes directrices
8.2 Biais et alignement en IA
8.2.1 L’impact des biais dans les données d’entraînement sur l’IA 3
8.2.2 Comment contrôler les biais de l'IA
8.3 Hallucinations
8.3.1 L'IA fait des erreurs
8.3.2 L'identité de l'hallucination
8.3.3 Contre-mesures contre les hallucinations
__8.3.4 Les hallucinations peuvent-elles être éliminées ?
8.4 Démocratisation de l'IA
8.4.1 Démocratisation de l'utilisation de l'IA
8.4.2 Démocratiser le développement de l'IA
8.4.3 Ressources informatiques des géants de la tech
8.5 Prise en charge multilingue des modèles de langage à grande échelle
__8.5.1 Dans combien de langues ChatGPT est-il disponible ?
8.5.2 Lacunes linguistiques dans les modèles de langage à grande échelle
8.5.3 Modèles de langage à grande échelle et leur relation avec la cognition et la culture
8.6 IA et philosophie
__8.6.1 Qu'est-ce que l'intelligence et qu'est-ce que le langage ?
__8.6.2 Salle chinoise

Comment fonctionne ChatGPT ?
La structure et les principes de ChatGPT sont faciles et rapides à comprendre !

Bien que la plupart des livres utilisent l'IA générative, son application et son utilisation présentent des limites si l'on ne comprend pas l'essence de cette technologie.
Les modes d'utilisation changent rapidement et les outils eux-mêmes évoluent tout aussi vite.
Cependant, si vous comprenez parfaitement la structure et les principes, vous pouvez répondre de manière fiable sans vous laisser déstabiliser, même lorsque de nouvelles versions apparaissent et que les méthodes d'utilisation changent.
Par conséquent, si vous souhaitez mieux utiliser l'IA et l'appliquer à divers domaines, il est essentiel de comprendre les principes de l'IA.

Ce livre aborde la structure et les principes des modèles de langage à grande échelle (LLM), une technologie fondamentale qui permet la grande polyvalence de ChatGPT.
Cet ouvrage explique de manière systématique les concepts et mécanismes clés qui constituent la base de l'IA générative, notamment les réseaux neuronaux, les modèles basés sur la quantification, les transformateurs, les lois d'échelle, les RAG et le réglage fin.
Nous examinons également un large éventail de facteurs, allant de ceux qui améliorent les performances et la précision de l'IA à son applicabilité et à ses perspectives d'avenir.
Ce livre est fortement recommandé aux lecteurs qui utilisent l'IA générative dans leur travail ou qui ont besoin de l'intégrer à d'autres technologies.