Chapitre 1 : Transformers : L'innovation dans l'intelligence artificielle

01 L'intelligence artificielle transformée par les Transformers
02 Compréhension conceptuelle des transformateurs
03 Comprendre les modèles de langage
04 Modèle de langage et données
05 Modifications apportées aux méthodes d'implémentation du modèle de langage
06 Modèle de langage pré-entraîné
07 Modèle de langage géant
Modèles basés sur 08 et intelligence artificielle générative

Chapitre 2 : Structure et analyse des transformateurs

01 Apprentissage profond et transformateurs
02 Transformateur de modèles d'intelligence artificielle
03 Structure du transformateur
04 Entrée du transformateur - Tokenisation
05 Entrée du transformateur - Établissement des relations entre les jetons
06 Encodage One-Hot et intégration de jetons (CBOW)
07 Intégration de jetons et dimensions d'intégration de jetons
08 Encodage positionnel - Emplacement et accès aux jetons
09 Encodage positionnel - Vecteur d'intégration de jetons
Encodeur transformateur 10
11 Entrée et requête de l'attention multi-têtes
12 Clé et produit scalaire attention de l'attention multi-têtes
13 La valeur de l'attention multi-têtes et des têtes d'attention
14 Régularisation et réseaux de neurones à propagation avant
15. Auto-attention
16 Itérations de l'encodeur et hyperparamètres
Décodeur du transformateur 17
18 Combinaison d'encodeur et de décodeur de transformateur
Sortie du transformateur 19

Chapitre 3 Modèles de langage pré-entraînés

01 Aperçu des modèles de langage pré-entraînés
02 Approche par modèle de langage pré-entraîné
03 Diverses tâches de traitement automatique du langage naturel
04 Tâches typiques de traitement automatique du langage naturel
05 Structure et fonctionnalités de BERT
06 Structure GPT d'OpenAI
07 Concept et structure de GPT-2
08 Performances et structure de RoBERTa
09 Approche et structure d'ALBERT
10. Approche et performance de DistilBERT
11. Concept et fonctionnalités de MobileBERT
12 Concept et fonctionnalités de SpanBERT
13 Concept et application d'ELECTRA
14 Concept et fonction de DeBERTa
15 Apparence et performances du TransformerXL
16 Concept et performances XLNet
17 Concept et caractéristiques du BART
Concept et fonctionnalités de 18 CTRL
Structure et performances du 19 T5
20 Hugging Face et Transformers

Chapitre 4 : Modèles de langage de grande taille

01 Aperçu du modèle de langage géant
02 Échelle du modèle de langage étendu
03 Structure d'un modèle de langage de grande taille
04 Caractéristiques des grands modèles de langage et méthodes de réentraînement
05 Limitations des grands modèles de langage
06 Apprentissage profond d'un point de vue computationnel
07 Opération de multiplication matricielle
08. Quantité de calcul et efficacité des grands modèles de langage
09 Utilisation de grands modèles de langage
10 Structure et performances de GPT-3
11 Structure et caractéristiques de LaMDA
Conception et performances du train de banlieue de 12 tonnes
13 L'émergence et l'approche de Gopher
14. Approche et fonctionnalités d'InstructGPT
15 Contexte et fonctionnalités de PanGu Alpha
16 Concept et fonctionnalités de PaLM
17 OPT 175B Introduction et caractéristiques
18. Contexte et fonctionnalités de BLOOM
19 Concept et caractéristiques d'HyperCLOVA
La concurrence des formats 20 et l'émergence de ChatGPT

Chapitre 5 : ChatGPT et intelligence artificielle générative

01 Succès et changements de ChatGPT
02 Efficacité et complexité de calcul de ChatGPT
03 Intelligence artificielle après ChatGPT
04 Approches fondamentales pour atténuer les effets hallucinogènes
05 IA explicable et grands modèles de langage
06 Approche de base de l'allègement des modèles
Modèle 07 Léger et matériel
08 Approche de base des transformateurs
09 Concept et structure du RWKV
10 Approches et caractéristiques des réseaux de rétention
11 initiatives des géants de la tech
12. Contexte et caractéristiques de GPT-4
13 caractéristiques de GPT-4 Turbo et GPT-4o
14 caractéristiques de GPT-o1 et GPT-5
15 Boutique GPT d'OpenAI
16 caractéristiques et fonctions du barde
17. Taille et caractéristiques du PaLM 2
18 Apparence et caractéristiques des Gémeaux
19 Apparence et caractéristiques du copilote
20 Développement et fonctionnalités de Claude
21 L'émergence de modèles de langage géants à petite échelle
22 Caractéristiques et structure de LLaMA
23 Performances de LLaMA 2 et LLaMA 3
24 Caractéristiques et fonctions de Gemma
25 L'émergence et les caractéristiques de l'IA Mistral
26 Caractéristiques et fonctions de phi
27. Le sLLM et l'énergie solaire en Corée
28 Outils d'utilisation de l'IA conversationnelle et du sLLM
29 Perspectives d'avenir technologiques pour l'intelligence artificielle
30 perspectives d'avenir pour les plateformes d'intelligence artificielle
31 Perspectives réglementaires pour l'intelligence artificielle
32 Perspectives politiques en matière d'intelligence artificielle
33 Perspectives d'avenir pour l'intelligence artificielle générale

Ce livre va bien au-delà d'une simple explication des Transformers.
Depuis l'avènement des Transformers, l'intelligence artificielle est entrée dans une nouvelle ère, celle de l'IA générative, et les barrières à l'entrée pour le développement ont été considérablement réduites grâce aux plateformes et aux logiciels libres.
Nous analysons notamment l'IA générative du point de vue des modèles de langage afin d'expliquer le paysage concurrentiel des grandes entreprises technologiques mondiales.
De plus, nous offrons la possibilité d'utiliser l'intelligence artificielle dans le monde réel en fournissant des vidéos de modèles de langage pré-entraînés et des exercices sLLM que n'importe qui peut facilement exécuter sur un ordinateur portable.
J'espère que ce livre constituera un guide précieux pour les étudiants, les chercheurs et les professionnels qui explorent le monde des Transformers et de l'IA générative. Le rythme de développement des technologies d'IA est incroyablement rapide.
Mais au cœur de cette innovation se sont toujours trouvés, et se trouveront toujours, les Transformers.


Un mot de l'auteur

L'avènement des Transformers a bouleversé le paradigme du traitement automatique du langage naturel (TALN) et de l'IA générative, et des modèles comme GPT, BERT et DALL-E, qui en sont issus, révolutionnent aujourd'hui notre vie quotidienne et nos industries.
De cette manière, Transformer représente un changement de paradigme au-delà d'un simple modèle d'apprentissage profond.
Lorsque les réseaux neuronaux récurrents (RNN) et la mémoire à long terme (LSTM) ont montré par le passé des limites en ne parvenant pas à surmonter la dépendance temporelle, les Transformers ont surmonté ces limitations grâce à l'article « L'attention est tout ce dont vous avez besoin ».
De ce fait, les Transformers sont devenus une nouvelle norme dans le traitement automatique du langage naturel, étant utilisés dans divers domaines, notamment la traduction automatique, la compréhension du langage, les systèmes conversationnels et la génération de texte.
Les extensions ultérieures des modèles de langage pré-entraînés (PLM) et des grands modèles de langage (LLM) ont réécrit l'histoire de l'intelligence artificielle, prouvant le potentiel des transformateurs.
L'avenir de l'intelligence artificielle dépend de la manière dont nous l'apprenons et l'utilisons.
Maintenant, commençons ce voyage ensemble.