CHAPITRE 1 : PRÉSENTATION DES TRANSFORMERS

_1.1 Cadre encodeur-décodeur
_1.2 Mécanisme de l'attention
1.3 Apprentissage par transfert en PNL
_1.4 Transformateurs de visages câlins
1.5 Visite guidée des applications des transformateurs
1.5.1 Classification des textes
__1.5.2 Reconnaissance des entités nommées
__1.5.3 Questions et réponses
__1.5.4 Résumé
__1.5.5 Traduction
__1.5.6 Génération de texte
_1.6 Écosystème du visage qui étreint
__1.6.1 Centre d'étreintes
__1.6.2 Tokeniseur de visages enlacés
__1.6.3 Ensemble de données Hugging Face
__1.6.4 Accélération du visage enlacé
1.7 Principaux défis des transformateurs
_1.8 Conclusion

CHAPITRE 2 Classification des textes

_2.1 Ensemble de données
__2.1.1 Première utilisation du jeu de données Hugging Face
2.1.2 Du jeu de données au dataframe
2.1.3 Analyse de la répartition des classes
__2.1.4 Vérifier la longueur du tweet
2.2 Du texte aux jetons
__2.2.1 Tokenisation des caractères
__2.2.2 Tokenisation des mots
__2.2.3 Tokenisation partielle des mots
__2.2.4 Tokenisation de l'ensemble des données
2.3 Entraînement d'un modèle de classification de texte
__2.3.1 Utilisation des transformateurs comme extracteurs de caractéristiques
2.3.2 Réglage fin du transformateur
2.4 Conclusion

CHAPITRE 3 : À la découverte des Transformers

3.1 Architecture du transformateur
Encodeur _3.2
3.2.1 Auto-attention
__3.2.2 Couche de propagation directe
__3.2.3 Ajout de la normalisation de couche
__3.2.4 Intégration positionnelle
3.2.5 Ajout d'un en-tête de classification
Décodeur _3.3
_3.4 L'univers des Transformers
3.4.1 Arbre généalogique des transformateurs
__3.4.2 Type d'encodeur
__3.4.3 Type de décodeur
__3.4.4 Types d'encodeurs-décodeurs
3.5 Conclusion

CHAPITRE 4 Reconnaissance d'entités nommées multilingues

_4.1 Ensemble de données
_4.2 Transformateur multilingue
_4.3 Tokenisation XLM-R
4.3.1 Pipeline de tokenisation
__4.3.2 Tokeniseur de fragments de phrase
_4.4 Transformateur pour la reconnaissance d'entités nommées
Classe de modèle de transformateur _4.5
4.5.1 Corps et tête
4.5.2 Création d'un modèle personnalisé pour la classification des jetons
4.5.3 Chargement d'un modèle personnalisé
_4.6 Tokenisation de texte pour les tâches NER
4.7 Mesure de la performance
_4.8 Réglage fin XLM-RoBERTa
4.9 Analyse des erreurs
4.10 Transfert interlinguistique
4.10.1 Quand les transitions sans transition sont utiles
4.10.2 Mise au point fine dans plusieurs langues simultanément
_4.11 Utilisation du widget Modèle
4.12 Conclusion

CHAPITRE 5 Génération de texte

5.1 Difficultés à générer un texte cohérent
5.2 Décodage par recherche gloutonne
5.3 Décodage par recherche de faisceau
5.4 Méthode d'échantillonnage
_5.5 Échantillonnage Top-k et noyau
_5.6 Quelle méthode de décodage est la meilleure ?
5.7 Conclusion

Résumé du chapitre 6

_6.1 Ensemble de données CNN/DailyMail
_6.2 Pipeline de résumé de texte
6.2.1 Modèle de critères récapitulatifs
__6.2.2 GPT-2
__6.2.3 T5
__6.2.4 BART
__6.2.5 PÉGASE
6.3 Comparaison des résultats synthétiques
6.4 Évaluation de la qualité du texte généré
__6.4.1 BLEU
__6.4.2 ROUGE
6.5 Évaluation de PEGASUS sur l'ensemble de données CNN/DailyMail
6.6 Entraînement du modèle de synthèse
6.6.1 Évaluation de PEGASUS dans SAMSum
__6.6.2 Réglage fin de PEGASUS
6.6.3 Générer un résumé de conversation
6.7 Conclusion

CHAPITRE 7 QUESTIONS ET RÉPONSES

7.1 Mise en place d'un système d'assurance qualité basé sur les évaluations
__7.1.1 Ensemble de données
7.1.2 Extraire les réponses du texte
7.1.3 Création d'un pipeline d'assurance qualité avec Haystack
_7.2 Amélioration du pipeline d'assurance qualité
7.2.1 Évaluation des retrievers
7.2.2 Évaluation des dirigeants
__7.2.3 Adaptation du domaine
7.2.4 Évaluation de l'ensemble du processus d'assurance qualité
7.3 Au-delà de l'assurance qualité extractive
7.4 Conclusion

CHAPITRE 8 Construction d'un transformateur efficace

8.1 Exemple de détection d'intention
8.2 Création d'une classe de référence
8.3 Réduction de la taille du modèle grâce à l'affinage des connaissances
8.3.1 Amélioration des connaissances lors du réglage fin
8.3.2 Perfectionnement des connaissances en préformation
8.3.3 Création d'un formateur en perfectionnement des connaissances
8.3.4 Choisir un bon élève
8.3.5 Trouver de bons hyperparamètres avec Optuna
8.3.6 Réalisation de tests de performance de modèles affinés
8.4 Accélération des modèles grâce à la quantification
_8.5 Évaluation comparative des modèles quantifiés
8.6 Optimisation de l'inférence avec ONNX et ONNX Runtime
8.7 Création d'un modèle clairsemé avec élagage des poids
8.7.1 La parcimonie dans les réseaux neuronaux profonds
8.7.2 Méthode d'élagage pondéral
8.8 Conclusion

CHAPITRE 9 Gérer le problème de la pénurie d'étiquettes

_9.1 Création d'une étiquette de problème GitHub
__9.1.1 Téléchargement des données
9.1.2 Préparation des données
9.1.3 Création d'un ensemble d'entraînement
__9.1.4 Création d'un segment de formation
_9.2 Construction d'un modèle naïf bayésien
_9.3 S'il n'y a pas de données étiquetées
9.4 Lorsqu'il y a peu de données étiquetées
9.4.1 Augmentation des données
__9.4.2 Utilisation des plongements comme tables de consultation
9.4.3 Réglage fin du transformateur de base
__9.4.4 Apprentissage en contexte et avec peu d'exemples à l'aide d'incitations
_9.5 Utilisation de données non étiquetées
9.5.1 Ajustement du modèle de langage
__9.5.2 Réglage fin du classificateur
__9.5.3 Méthodes avancées
_9.6 Conclusion

CHAPITRE 10 : COLLECTE DE LOTS DE DONNÉES À GRANDE ÉCHELLE

_10.1 Collecte de grands ensembles de données
__10.1.1 Difficultés liées à la constitution de grands corpus
__10.1.2 Création d'un ensemble de données de code personnalisé
__10.1.3 Gestion des grands ensembles de données
__10.1.4 Ajout d'un jeu de données au Hugging Face Hub
_10.2 Création d'un tokenizer
__10.2.1 Modèle de tokenisation
10.2.2 Mesure des performances du tokenizer
__10.2.3 Tokeniseur pour le code Python
__10.2.4 Entraînement du tokenizer
__10.2.5 Enregistrement d'un tokenizer personnalisé dans le Hub
_10.3 Entraînement d'un modèle à partir de zéro
10.3.1 Objectifs de pré-formation
__10.3.2 Initialisation du modèle
__10.3.3 Création d'un chargeur de données
10.3.4 Définition du cycle de formation
__10.3.5 Entraînement à la course à pied
10.4 Résultats et analyse
_10.5 Conclusion

CHAPITRE 11 Orientations futures

_11.1 Extension du transformateur
__11.1.1 Loi de l'échelle
__11.1.2 Difficultés de mise à l'échelle
__11.1.3 Attention s'il vous plaît !
__11.1.4 Attention éparse
__11.1.5 Attention linéaire
_11.2 Au-delà du texte
11.2.1 Vision
Tableau 11.2.2
_11.3 Transformateur multimodal
11.3.1 Transcription vocale
11.3.2 Vision et texte
_11.4 Et ensuite ?

Cube et Transformer pour la création d'applications de traitement du langage naturel

Ce livre s'adresse aux ingénieurs et aux chercheurs possédant des connaissances en apprentissage automatique, en leur fournissant des méthodes pratiques pour mettre en œuvre des modèles et appliquer les Transformers à leurs travaux.
Après avoir présenté la théorie et les méthodes de base nécessaires à l'utilisation des Transformers, nous entraînerons divers modèles de traitement du langage naturel à des fins telles que la reconnaissance d'entités nommées (NER) de textes multilingues, la génération de texte, le résumé de texte et la réponse aux questions (QA).
Construisons le modèle dont j'ai besoin, en suivant les conseils de l'équipe derrière HuggingFace Transformers, une bibliothèque qui fournit une interface standardisée à différents modèles Transformer.

Public cible
Les data scientists et les ingénieurs en apprentissage automatique qui souhaitent personnaliser Transformer selon leurs préférences.
Les développeurs qui souhaitent créer leurs propres applications de traitement du langage naturel

Contenu principal
ㆍComment construire, déboguer et optimiser des modèles Transformer pour des tâches de traitement automatique du langage naturel telles que la classification de texte et la reconnaissance d'entités nommées.
Comment utiliser les transformateurs pour l'apprentissage par transfert interlinguistique
ㆍComment améliorer les performances du modèle en appliquant des transformateurs dans les situations où les données étiquetées sont insuffisantes.
• Méthodes d’amélioration de l’efficacité des modèles de transformateurs utilisant des techniques telles que le raffinement des connaissances, la quantification et l’élagage.
Comment entraîner des modèles Transformer à grande échelle à partir de zéro et les adapter à plusieurs GPU et environnements distribués.