Passer aux informations sur le produit
Noyau de modèle de langage rapide et à grande échelle !
Modèles de langage à grande échelle, rapides et ciblés !
Description
Introduction au livre
Nous avons simplifié les théories complexes et n'avons inclus que les points clés essentiels !
Le guide le plus concis pour apprendre la modélisation du langage


Ce livre, suite du best-seller d'Andriy Burkov, Machine Learning: A Fast, Straightforward Guide, commence par les principes fondamentaux de la modélisation du langage et propose un exposé concis mais complet des derniers modèles de langage à grande échelle (LLM).
Grâce à ce livre, les lecteurs peuvent apprendre de manière systématique les fondements mathématiques de l'apprentissage automatique moderne et des réseaux neuronaux, y compris les implémentations en Python, les modèles de langage basés sur les RNN, les transformateurs créés directement avec PyTorch et la pratique du LLM (réglage fin dirigé, ingénierie rapide).

Ce livre pratique, basé sur du code Python exécutable et l'environnement Google Colab, permet à chacun de suivre pas à pas et d'approfondir ses connaissances.
Ce livre explique comment les modèles de langage ont évolué, passant de simples statistiques n-grammes à la technologie de base de l'IA actuelle, en commençant par les méthodes basées sur le comptage et en passant aux architectures de transformateurs les plus récentes, couvrant à la fois les principes et la mise en œuvre.
Chaque chapitre s'appuie sur les notions précédentes, et même les concepts complexes sont facilement compris grâce à des explications claires, des illustrations et des exercices pratiques.
  • Vous pouvez consulter un aperçu du contenu du livre.
    Aperçu

indice
Note du traducteur
Recommandation
Note de l'auteur

Chapitre 1 : Principes fondamentaux de l'apprentissage automatique
1.1 Intelligence artificielle et apprentissage automatique
Modèle 1.2
1.3 Processus d'apprentissage automatique en quatre étapes
1.4 Vecteurs
1.5 Réseaux neuronaux
1.6 Matrice
1.7 Descente en pente
1.8 Différenciation automatique

Chapitre 2 : Principes fondamentaux de la modélisation du langage
2.1 BoW
2.2 Intégrations de mots
2.3 Codage par paires d'octets
2.4 Modèle de langage
2.5 Modèles de langage basés sur le comptage
2.6 Évaluation du modèle de langage
2.6.1 Congestion
2.6.2 ROUGE
2.6.3 Évaluation humaine

Chapitre 3 Réseaux de neurones récurrents
3.1 Elman RNN
3.2 Descente de gradient par mini-lots
3.3 Implémentation d'un RNN
3.4 Modèle de langage RNN
3.5 Couche d'intégration
3.6 Entraînement d'un modèle de langage RNN
3.7 Jeu de données et chargeur de données
3.8 Données d'entraînement et calcul de la perte

Chapitre 4 Transformers
4.1 Bloc décodeur
4.2 Auto-attention
4.3 Perceptron multicouche basé sur la position
4.4 Intégration de la position rotative
4.5 Attention multi-têtes
4.6 Liaison résiduelle
4.7 Normalisation RMS
4.8 Mise en cache clé-valeur
4.9 Implémentation du transformateur

Chapitre 5 Modèles de langage à grande échelle
5.1 Pourquoi plus grand, c'est mieux
5.1.1 Grand nombre de paramètres
5.1.2 Taille du contexte importante
5.1.3 Ensembles de données d'entraînement à grande échelle
5.1.4 Calculs importants
5.2 Optimisation de l'apprentissage supervisé
5.3 Ajustement fin du modèle pré-entraîné
5.3.1 Classificateur d'émotions de base
5.3.2 Création d'étiquettes émotionnelles |
5.3.3 Réglage fin selon les instructions
5.4 Échantillonnage du modèle de langage
5.4.1 Échantillonnage de base par température
5.4.2 Échantillonnage des k premiers
5.4.3 Échantillonnage du noyau (top-p)
5.4.4 Pénalité
5.5 LoRA
5.5.1 Idée centrale
5.5.2 PEFT
5.6 LLM pour la classification
5.7 Ingénierie rapide
5.7.1 Caractéristiques d'une bonne invite
5.7.2 Suivi des actions
5.7.3 Génération de code
5.7.4 Synchronisation des documents
5.8 Hallucinations 182
5.8.1 Causes des hallucinations
5.8.2 Anti-hallucinations
5.9 LLM, Droit d'auteur, Éthique
5.9.1 Données d'entraînement
5.9.2 Contenu généré
5.9.3 Modèle à poids ouvert
5.9.4 Considérations éthiques générales

Chapitre 6 : Documents supplémentaires
6.1 MoE
6.2 Fusion de modèles
6.3 Compression du modèle
6.4 Tri basé sur les préférences
6.5 Raisonnement avancé
6.6 Sécurité du modèle de langage
6.7 Modèle de langage visuel
6.8 Prévenir le surajustement
6.9 Conclusion
6.10 Autres livres de l'auteur

Dans le livre
« L’avènement des grands modèles de langage (LLM) a tout changé. »
Pour la première fois, des ordinateurs peuvent converser couramment avec des humains et suivre des instructions orales avec une précision remarquable.
Mais comme tous les outils, l'immense puissance de ces modèles a ses limites.
Certaines sont faciles à manipuler, mais d'autres sont subtiles et nécessitent un haut degré d'expertise pour être traitées correctement.
Si vous essayez de construire un gratte-ciel sans bien comprendre les outils, vous n'obtiendrez rien de plus qu'une montagne de béton et de barres d'armature.
Il en va de même pour les modèles de langage.
Le traitement de textes à grande échelle ou la création de produits commerciaux fiables nécessitent précision et connaissances.
« Les spéculations ne sont pas prises en compte. »
--- Extrait de la « Note de l'auteur »

Avis de l'éditeur
Ce que ce livre couvre

● Concepts fondamentaux de l'apprentissage automatique et des réseaux neuronaux
● Techniques de représentation textuelle et modélisation de base du langage
Implémentation de RNN et de Transformers avec PyTorch
● Lignes directrices pour l’optimisation fine des modèles de langage et l’ingénierie rapide
● Considérations clés concernant les problèmes d'hallucinations et l'évaluation du modèle
SPÉCIFICATIONS DES PRODUITS
- Date d'émission : 30 octobre 2025
- Nombre de pages, poids, dimensions : 220 pages | 172 × 225 × 11 mm
- ISBN13 : 9788966264940

Vous aimerez peut-être aussi

카테고리