Lignes directrices pour les demandes de renseignements
À propos des fichiers d'exemple de ce livre
Note du traducteur

CHAPITRE 0 Introduction

0.1 Caractéristiques de ce livre
0.1.1 Apprenons les bases de Python
0.1.2 Structure de ce livre
0.1.3 Ce que vous serez capable de faire après avoir lu ce livre
0.1.4 Éléments à prendre en compte lors de la lecture de ce livre
0.1.5 Public cible de ce livre
0.1.6 La façon de penser de ce livre

CHAPITRE 1 Aperçu de BERT

1.1 Qu'est-ce que l'apprentissage profond ?
1.1.1 Intelligence artificielle, apprentissage automatique et apprentissage profond
1.1.2 Structure des réseaux neuronaux
1.1.3 Apprentissage profond
1.2 Aperçu du traitement automatique du langage naturel
1.2.1 Qu'est-ce que le traitement automatique du langage naturel ?
1.2.2 Applications de traitement automatique du langage naturel
1.2.3 Analyse morphologique
1.2.4 Vectorisation des mots
1.2.5 RNN (Réseau de neurones récurrent)
1.2.6 Transformation de séries à l'aide de Seq2Seq
1.2.7 Si vous souhaitez en savoir plus sur le traitement automatique du langage naturel
1.3 Aperçu du transformateur
1.3.1 Qu'est-ce qu'un transformateur ?
1.3.2 Structure du transformateur
1.4 Aperçu de BERT
1.4.1 Qu'est-ce que BERT ?
1.4.2 Aperçu de la formation BERT
1.4.3 Pré-entraînement BERT
1.4.4 Performances de BERT
1.5 Résumé

CHAPITRE 2 ENVIRONNEMENT DE DÉVELOPPEMENT

2.1 Comment démarrer avec Google Colab
2.1.1 Préparation de Google Colab
2.1.2 Comment utiliser l'ordinateur portable
2.1.3 Comment gérer les fichiers téléchargés
2.2 Sessions et instances
2.2.1 Que sont les sessions et les instances ?
2.2.2 Règle des 90 minutes
2.2.3 Règle des 12 heures
2.2.4 Gestion de session
2.3 Processeur et carte graphique
2.3.1 Que sont le CPU, le GPU et le TPU ?
2.3.2 Utilisation du GPU
2.3.3 Comparaison des performances
2.4 Différentes fonctionnalités de Google Colab
2.4.1 Cellules de texte
2.4.2 Cellules de code Scratch
2.4.3 Extrait de code
2.4.4 Historique d'exécution du code
2.4.5 Intégration avec GitHub
2.5 Pratique
2.5.1 Manipulation des cellules de code
2.5.2 Manipulation des cellules de texte
2.5.3 Modification et suppression des positions des cellules
2.6 Résumé

CHAPITRE 3 : Apprentissage profond simple avec PyTorch

3.1 Aperçu de la mise en œuvre
3.1.1 Paramètres d'apprentissage et hyperparamètres
3.1.2 Propagation avant et arrière
3.1.3 Ordre de mise en œuvre
3.2 Tenseur
3.2.1 Vérification du colis
3.2.2 Création d'un tenseur
3.2.3 Interconversion entre tableaux NumPy et tenseurs
3.2.4 Accès à une portion d'un tenseur en spécifiant une plage
3.2.5 Opérations sur les tenseurs
3.2.6 Transformation des tenseurs
3.2.7 Calcul de diverses statistiques
3.2.8 Exercice : Opérations entre tenseurs
3.2.9 Exemple de réponse
3.3 Fonction d'activation
3.3.1 Fonction sigmoïde
3.3.2 tanh
3.3.3 ReLU
3.3.4 Fonction identité
3.3.5 Fonction Softmax
3.4 Fonction de perte
3.4.1 Erreur quadratique moyenne
3.4.2 Erreur d'entropie croisée
3.5 Algorithme d'optimisation
3.5.1 Algorithmes de gradient et de descente de gradient
3.5.2 Aperçu de l'algorithme d'optimisation
3,53 SGD
3.5.4 Momentum
3.5.5 AdaGrad
3.5.6 RMSProp
3.5.7 Adam
3.6 Époques et lots
3.6.1 Époque et lot
3.6.2 Apprentissage par lots
3.6.3 Apprentissage en ligne
3.6.4 Apprentissage par mini-lots
3.6.5 Exemple d'apprentissage
3.7 Implémentation simple de l'apprentissage profond
3.7.1 Reconnaissance d'images de caractères manuscrits
3.7.2 Division des données en ensembles d'entraînement et de test
3.7.3 Construction du modèle
3.7.4 Apprentissage
3.7.5 Tendance des erreurs
3.7.6 Taux de réponses correctes
3.7.7 Prédictions à l'aide du modèle entraîné
3.8 Pratique
3.8.1 Division des données en ensembles d'entraînement et de test
3.8.2 Construction du modèle
3.8.3 Apprentissage
3.8.4 Tendance des erreurs
3.8.5 Taux de réponses correctes
3.8.6 Exemple de réponse
3.9 Résumé

CHAPITRE 4 : Une implémentation simple de BERT

4.1 Aperçu des transformateurs
4.1.1 Que sont les Transformers ?
4.1.2 Classes qui composent les transformateurs
4.1.3 Modèle BERT
4.2 Notions de base sur les transformateurs
4.2.1 Installation de la bibliothèque
4.2.2 Modèle Transformers : Masquage de parties de phrases
4.2.3 Modèle Transformers : Classification des phrases
4.2.4 Héritage du modèle pré-entraîné
4.2.5 Paramètres BERT
4.2.6 Tokeniseur
4.3 Implémentation simple de BERT
4.3.1 Installation de la bibliothèque
4.3.2 Prédiction du mot manquant : BertForMaskedLM
4.3.3 Détermination de la continuité des phrases : prédiction de la phrase suivante par BertForNextSentencePrediction
4.4 Pratique
4.4.1 Installation de la bibliothèque
4.4.2 Chargement du tokenizer
4.4.3 Chargement d'un modèle
4.4.4 Fonctions qui déterminent la continuité
4.4.5 Détermination de la continuité
4.4.6 Exemple de réponse
4.5 Résumé

CHAPITRE 5 LA STRUCTURE DE BERT

5.1 Image complète de BERT
5.1.1 Formation BERT
5.1.2 Modèle BERT
5.1.3 Entrée BERT
5.1.4 Formation BERT
5.1.5 Performances de BERT
5.2 Transformateurs et attention
5.2.1 Aperçu du modèle de transformateur
5.2.2 Qu'est-ce que l'attention ?
5.2.3 Entrée et mémoire
5.2.4 Calcul des pondérations d'attention
5.2.5 Valeurs et produits scalaires
5.2.6 Attention à soi et attention à la source et à la cible
5.2.7 Attention multi-têtes
5.2.8 Réseau neuronal avant entièrement connecté positionnellement
5.2.9 Encodage positionnel
5.2.10 Visualisation de l'attention
5.3 Structure de BERT
5.3.1 Installation de la bibliothèque
5.3.2 Structure du modèle BERT
5.3.3 Paramètres BERT
5.4 Pratique
5.4.1 Installation de la bibliothèque
5.4.2 Structure de BertForMaskedLM
5.4.3 Structure de BertForNextSentencePrediction
5.5 Résumé

CHAPITRE 6 : Utilisation du réglage fin

6.1 Apprentissage par transfert et ajustement fin
6.1.1 Qu’est-ce que l’apprentissage par transfert ?
6.1.2 Apprentissage par transfert et ajustement fin
6.2 Réglage fin simple
6.2.1 Installation de la bibliothèque
6.2.2 Importation d'un modèle
6.2.3 Algorithme d'optimisation
6.2.4 Paramètres du tokenizer
6.2.5 Réglage fin simple
6.3 Analyse des sentiments par ajustement fin
6.3.1 Installation de la bibliothèque
6.3.2 Chargement du modèle et du tokenizer
6.3.3 Chargement d'un jeu de données
6.3.4 Prétraitement des données
6.3.5 Fonctions d'évaluation
6.3.6 Définition des arguments de formation
6.3.7 Paramètres du programme d'entraînement
6.3.8 Formation sur les modèles
6.3.9 Évaluation du modèle
6.4 Pratique
6.4.1 Installation de la bibliothèque
6.4.2 Chargement du modèle et du tokenizer
6.4.3 Congélation du sol
6.4.4 Chargement d'un jeu de données
6.4.5 Prétraitement des données
6.4.6 Fonctions d'évaluation
6.4.7 Définition des arguments de formation
6.4.8 Paramètres du programme d'entraînement
6.4.9 Formation sur les modèles
6.4.10 Évaluation du modèle
6.4.11 Exemple de réponse
6.5 Résumé

CHAPITRE 7 Utilisation de BERT

7.1 Exemples d'utilisation de BERT
7.1.1 Moteur de recherche
7.1.2 Traduction
7.1.3 Classification des textes
7.1.4 Résumé du texte
7.1.5 Autres exemples d'utilisation
Modèle japonais BERT 7.2
7.2.1 Modèles et jeux de données utilisés
7.2.2 Installation de la bibliothèque
7.2.3 Prédiction des mots manquants
7.2.4 Déterminer si les phrases sont continues
7.3 Classification des actualités japonaises à l'aide de BERT
7.3.1 Jeu de données à utiliser
7.3.2 Déploiement des données d'entraînement sur Google Drive
7.3.3 Installation de la bibliothèque
7.3.4 Intégration avec Google Drive
7.3.5 Chargement d'un jeu de données
7.3.6 Stockage des données
7.3.7 Chargement du modèle et du tokenizer
7.3.8 Prétraitement des données
7.3.9 Fonctions d'évaluation
7.3.10 Définition des arguments de formation
7.3.11 Paramètres du programme d'entraînement
7.3.12 Formation sur modèle
7.3.13 Évaluation du modèle
7.3.14 Sauvegarde du modèle
7.3.15 Importation d'un modèle
7.3.16 Catégorie Actualités japonaises
Modèle coréen BERT 7.4
7.4.1 Modèles et jeux de données utilisés
7.4.2 Installation de la bibliothèque
7.4.3 Prédiction des mots manquants
7.4.4 Déterminer si les phrases sont continues
7.5 Résumé

Les technologies de traitement automatique du langage naturel utilisant l'apprentissage profond, telles que BERT et GPT, continuent d'avoir un impact considérable sur le monde actuel. BERT, basé sur l'architecture Transformer, se distingue par sa grande polyvalence, lui permettant de s'adapter à une variété de tâches de traitement automatique du langage naturel.
La technologie d'apprentissage profond sera utile dans tous les domaines, car elle permet de gérer une variété de tâches de manière plus efficace et créative.