Il n'existe pas de cours d'apprentissage en profondeur plus visuel et intuitif que celui-ci.

Les LLM comme ChatGPT, c'est magique.
Comment opère la magie de la création poétique ou de l'écriture de code à partir d'une simple consigne ? Ce livre décompose les concepts en sections faciles à comprendre, en les présentant à l'aide d'exemples intuitifs et d'illustrations claires.
Ce livre, qui aborde les fondamentaux des réseaux de neurones et de l'IA, présente progressivement les technologies les plus récentes telles que la classification d'images et le traitement automatique du langage naturel. Des tutoriels PyTorch sont fournis pour chaque concept majeur, vous permettant ainsi d'apprendre à programmer des réseaux de neurones de A à Z.
L'annexe fournit des explications illustrées de concepts mathématiques que vous avez peut-être appris à l'école, mais que vous avez maintenant oubliés.

L'élément le plus fondamental lors de la création d'un réseau neuronal dans PyTorch est le tenseur.
Les tenseurs sont similaires aux listes Python, mais servent à stocker des données, des poids et des biais.
La principale différence entre les tenseurs et les listes Python réside dans le fait que, dans les tenseurs, toutes les valeurs doivent avoir le même type de données.
Par exemple, si vous créez un tenseur d'entiers, toutes les valeurs qui le composent doivent être des entiers.
Une autre différence majeure réside dans le fait que les tenseurs sont optimisés pour une utilisation dans les réseaux neuronaux.

--- p.18

La rétropropagation se compose de deux étapes.
La première étape consiste à calculer la dérivée de chaque paramètre à optimiser.
Cet ensemble de valeurs différentielles est appelé le « gradient ».
Le terme « rétropropagation » est utilisé car ce gradient est calculé de la couche de sortie du réseau neuronal vers la couche d'entrée.
/ Ensuite, dans un second temps, nous ajustons les paramètres en utilisant la descente de gradient ou d'autres méthodes d'optimisation.
Ce processus se déroule de manière itérative pour trouver la valeur optimale.
Autrement dit, il s'agit d'une méthode permettant d'améliorer progressivement les paramètres par plusieurs petites étapes.

--- p.20

Le premier réseau neuronal, créé dans les années 1950, était un perceptron conçu pour reconnaître les chiffres et les lettres manuscrites.
Cependant, ces premiers modèles de CNN n'ont pas bien fonctionné en pratique avant les années 1990, car les ensembles de données étaient trop petits et les ordinateurs trop lents.
Heureusement, des chercheurs travaillant sur les GPU (processeurs graphiques) ont découvert qu'ils pouvaient exécuter les CNN beaucoup plus rapidement. Grâce aux GPU, les CNN sont devenus plus performants en classification d'images, amorçant ainsi la révolution de l'IA que nous connaissons actuellement.

--- p.128

Le premier modèle encodeur-décodeur utilisait LSTM (Sutskever et al.
2018), pourrait être étendue pour permettre une plus grande flexibilité dans la longueur des séquences d'entrée et de sortie… et des entrées et sorties non numériques.
Nous avons également utilisé un réseau d'intégration de mots, ce qui facilite l'entraînement.
Je vais expliquer comment utiliser le modèle encodeur-décodeur pour résoudre le problème de la conversion séquence-à-séquence.
Créons donc un modèle qui traduit des phrases anglaises en phrases espagnoles.

--- p.184

Maintenant que nous connaissons les détails du modèle encodeur-décodeur, programmons deux couches, chacune avec deux LSTM.
La génération de deux plongements lexicaux pour chacun des quatre jetons peut être réalisée avec nn.Embedding().
Nous pouvons créer des piles et des couches d'unités LSTM avec nn.LSTM().
Si vous définissez input_size sur 2, vous pouvez utiliser toutes les valeurs d'embedding de mots comme entrée… et définissez hidden_size sur 2, qui reçoit les mêmes valeurs d'entrée, et créez deux piles d'unités LSTM.
En définissant num_layers à 2, nous pouvons créer deux piles d'unités LSTM... et enfin, nous pouvons créer une couche entièrement connectée avec nn.Linear().

--- p.198

Pour comprendre l'importance de respecter l'ordre des mots, imaginez que Normalsaurus dise : « Squatch mange de la pizza. » Dans ce cas, Squatch dirait probablement : « Miam ! » À l'inverse, imaginez que Normalsaurus dise : « La pizza mange Squatch. » Dans ce cas, Squatch dirait probablement : « Beurk ! » Ces deux phrases utilisent exactement les mêmes mots, mais ont des significations très différentes.
Il est donc très important de faire attention à l'ordre des mots.
Apprenons comment les transformateurs apprennent l'ordre des mots grâce à l'encodage positionnel !

--- p.216