La structure de l'IA générative
 |
Description
Introduction au livre
Les principes fondamentaux de la technologie de génération de données par IA générative permettent une lecture et une compréhension faciles sans formules.
Daisuke Okanohara, le plus grand expert japonais en IA, a écrit ce livre, expliquant la structure de l'IA générative en utilisant uniquement du texte et des images, sans équations, afin que même les non-spécialistes puissent la comprendre.
De l'histoire de l'IA générative aux modèles de flux, de diffusion, de correspondance des flux et de transport optimal, comprenons mieux le cœur de l'IA générative, qui est au centre de l'informatique d'aujourd'hui, grâce aux commentaires accessibles d'un auteur chevronné, reconnu pour « la richesse du contexte qu'il offre autour de cette technologie ».
Daisuke Okanohara, le plus grand expert japonais en IA, a écrit ce livre, expliquant la structure de l'IA générative en utilisant uniquement du texte et des images, sans équations, afin que même les non-spécialistes puissent la comprendre.
De l'histoire de l'IA générative aux modèles de flux, de diffusion, de correspondance des flux et de transport optimal, comprenons mieux le cœur de l'IA générative, qui est au centre de l'informatique d'aujourd'hui, grâce aux commentaires accessibles d'un auteur chevronné, reconnu pour « la richesse du contexte qu'il offre autour de cette technologie ».
- Vous pouvez consulter un aperçu du contenu du livre.
Aperçu
indice
Préface du traducteur ix
Aux lecteurs coréens x
Préface xi
CHAPITRE 1 IA générative 1
Qu’est-ce que l’IA générative ? Partie 1
Création selon instructions et conditions 2
Capacité à créer des données qui étaient auparavant difficiles à créer 3
Du système basé sur des règles à l'apprentissage automatique 5
Les tâches de génération constituent un problème d'apprentissage automatique particulièrement difficile 7.
Générer des données, c'est comme trouver une île dans un vaste océan.
Vaste et étrange espace multidimensionnel 11
La génération comporte plus d'une sortie correcte 13
Hypothèse de variété : données en basse dimension 15
Symétrie : Données invariantes aux transformations 18
Composition : Données composées d'une combinaison de plusieurs parties 20
[COLONNE] Les caractéristiques des données sont-elles fournies par les humains ou s'apprennent-elles par elles-mêmes ? 21
Résumé 22
CHAPITRE 2 : Histoire de l'IA générative 23
Mécanismes de la mémoire 23
Du modèle d'assouplissement au réseau Hopfield 24
Modèle énergétique 28
Modèle énergétique 29 pour la réalisation naturelle de la mémoire associative
Relation entre énergie et probabilité : distribution de Boltzmann 31
Principes de la méthode de Monte Carlo de Langevin 32
33 problèmes majeurs liés aux modèles énergétiques
[CHRONIQUE] Le monde réel est un simulateur géant 34
Fonction de distribution 35 qui régit l'information dans tout l'espace
Données générées à partir d'informations cachées 37
La prise de conscience est nécessaire à la création 38
Auto-encodeur variationnel (VAE) 40
Problème 42 du modèle à variable latente
[COLUMN] Réseaux antagonistes génératifs (GAN) 43
[COLONNE] Modèle autorégressif 43
[COLONNE] Prix Nobel 2024 44
Résumé 45
CHAPITRE 3 Création à l'aide de Flow 47
Floran 47
Équation de continuité : la matière ne disparaît pas soudainement et ne se déforme pas 49
Distributions de probabilité complexes créées à l'aide du flux 51
Modèle basé sur les flux 53 qui ne nécessite pas de fonction de distribution
Flux de normalisation et flux de normalisation continue 55
Apprendre à maximiser la probabilité obtenue le long du flux 55
Générer des données selon le flux 57
Flux 58 : Décomposition des problèmes de génération complexes en problèmes de sous-génération plus simples
Modélisation des flux 60
Calcul du résultat du flux 62
Défi de flux de normalisation 64
Résumé 65
CHAPITRE 4 Modèles de diffusion et adaptation d'écoulement 67
Découverte du modèle de diffusion 67
Phénomène général de diffusion 68
[COLONNE] Mouvement brownien 69
Le modèle de diffusion est de 70
Flux généré par le processus de diffusion = Score 72
Relation entre le score et l'énergie 73
Score 74, qui évolue avec le temps
Score de débruitage correspondant 76
L'apprentissage sans simulation n'est accessible qu'à environ 78 % des étudiants.
Résumé de l'apprentissage et de la génération par les modèles de diffusion 79
Caractéristiques de l'écoulement généré par les modèles de diffusion 79
Relation entre les modèles de diffusion et les modèles à variables latentes 80
Apprentissage automatique d'arbres phylogénétiques pour la génération de données 81
Le modèle de diffusion est un modèle énergétique 82
Le modèle de diffusion est un modèle génératif utilisant le flux 82
Correspondance des flux : Flux complexe 83 créé par la collecte de flux
Transport optimal 83
Génération 85 utilisant un transport optimal
La recherche directe du transport optimal est trop gourmande en ressources de calcul.
Appariement du flux d'apprentissage 86
L'évolution de l'adaptation des flux 88
La génération conditionnelle est réalisée avec le flux conditionnel 88
Modèle de diffusion latente : Transformer les données originales en espace latent pour améliorer la qualité 90
Résumé 91
CHAPITRE 5 : LES PERSPECTIVES D'AVENIR DES TECHNOLOGIES BASÉES SUR LES FLUX 93
Résoudre le mystère de la généralisation 93
Génération 95, avec la symétrie en tête
Mécanisme de l'attention et flux 96
Optimisation numérique par flux 96
Générer des données discrètes telles que la langue 97
99 Contact avec les mécanismes computationnels du cerveau
L'avenir de la création par Flow 99
ANNEXE A Mots clés de l'apprentissage automatique 101
Probabilités et modèles génératifs 101
Méthode du maximum de vraisemblance 102
Apprentissage automatique 103
Mécanismes d'apprentissage automatique 104
Réglage des paramètres = apprentissage 105
Réseau neuronal 106
Généralisation 106 : Obtention de règles applicables à des données infinies à partir de données d’entraînement finies
ANNEXE B RÉFÉRENCES 109
Chapitre 2, 110
Chapitre 3, 112
Chapitre 4, 112
Chapitre 5, 114
Recherche 117
Aux lecteurs coréens x
Préface xi
CHAPITRE 1 IA générative 1
Qu’est-ce que l’IA générative ? Partie 1
Création selon instructions et conditions 2
Capacité à créer des données qui étaient auparavant difficiles à créer 3
Du système basé sur des règles à l'apprentissage automatique 5
Les tâches de génération constituent un problème d'apprentissage automatique particulièrement difficile 7.
Générer des données, c'est comme trouver une île dans un vaste océan.
Vaste et étrange espace multidimensionnel 11
La génération comporte plus d'une sortie correcte 13
Hypothèse de variété : données en basse dimension 15
Symétrie : Données invariantes aux transformations 18
Composition : Données composées d'une combinaison de plusieurs parties 20
[COLONNE] Les caractéristiques des données sont-elles fournies par les humains ou s'apprennent-elles par elles-mêmes ? 21
Résumé 22
CHAPITRE 2 : Histoire de l'IA générative 23
Mécanismes de la mémoire 23
Du modèle d'assouplissement au réseau Hopfield 24
Modèle énergétique 28
Modèle énergétique 29 pour la réalisation naturelle de la mémoire associative
Relation entre énergie et probabilité : distribution de Boltzmann 31
Principes de la méthode de Monte Carlo de Langevin 32
33 problèmes majeurs liés aux modèles énergétiques
[CHRONIQUE] Le monde réel est un simulateur géant 34
Fonction de distribution 35 qui régit l'information dans tout l'espace
Données générées à partir d'informations cachées 37
La prise de conscience est nécessaire à la création 38
Auto-encodeur variationnel (VAE) 40
Problème 42 du modèle à variable latente
[COLUMN] Réseaux antagonistes génératifs (GAN) 43
[COLONNE] Modèle autorégressif 43
[COLONNE] Prix Nobel 2024 44
Résumé 45
CHAPITRE 3 Création à l'aide de Flow 47
Floran 47
Équation de continuité : la matière ne disparaît pas soudainement et ne se déforme pas 49
Distributions de probabilité complexes créées à l'aide du flux 51
Modèle basé sur les flux 53 qui ne nécessite pas de fonction de distribution
Flux de normalisation et flux de normalisation continue 55
Apprendre à maximiser la probabilité obtenue le long du flux 55
Générer des données selon le flux 57
Flux 58 : Décomposition des problèmes de génération complexes en problèmes de sous-génération plus simples
Modélisation des flux 60
Calcul du résultat du flux 62
Défi de flux de normalisation 64
Résumé 65
CHAPITRE 4 Modèles de diffusion et adaptation d'écoulement 67
Découverte du modèle de diffusion 67
Phénomène général de diffusion 68
[COLONNE] Mouvement brownien 69
Le modèle de diffusion est de 70
Flux généré par le processus de diffusion = Score 72
Relation entre le score et l'énergie 73
Score 74, qui évolue avec le temps
Score de débruitage correspondant 76
L'apprentissage sans simulation n'est accessible qu'à environ 78 % des étudiants.
Résumé de l'apprentissage et de la génération par les modèles de diffusion 79
Caractéristiques de l'écoulement généré par les modèles de diffusion 79
Relation entre les modèles de diffusion et les modèles à variables latentes 80
Apprentissage automatique d'arbres phylogénétiques pour la génération de données 81
Le modèle de diffusion est un modèle énergétique 82
Le modèle de diffusion est un modèle génératif utilisant le flux 82
Correspondance des flux : Flux complexe 83 créé par la collecte de flux
Transport optimal 83
Génération 85 utilisant un transport optimal
La recherche directe du transport optimal est trop gourmande en ressources de calcul.
Appariement du flux d'apprentissage 86
L'évolution de l'adaptation des flux 88
La génération conditionnelle est réalisée avec le flux conditionnel 88
Modèle de diffusion latente : Transformer les données originales en espace latent pour améliorer la qualité 90
Résumé 91
CHAPITRE 5 : LES PERSPECTIVES D'AVENIR DES TECHNOLOGIES BASÉES SUR LES FLUX 93
Résoudre le mystère de la généralisation 93
Génération 95, avec la symétrie en tête
Mécanisme de l'attention et flux 96
Optimisation numérique par flux 96
Générer des données discrètes telles que la langue 97
99 Contact avec les mécanismes computationnels du cerveau
L'avenir de la création par Flow 99
ANNEXE A Mots clés de l'apprentissage automatique 101
Probabilités et modèles génératifs 101
Méthode du maximum de vraisemblance 102
Apprentissage automatique 103
Mécanismes d'apprentissage automatique 104
Réglage des paramètres = apprentissage 105
Réseau neuronal 106
Généralisation 106 : Obtention de règles applicables à des données infinies à partir de données d’entraînement finies
ANNEXE B RÉFÉRENCES 109
Chapitre 2, 110
Chapitre 3, 112
Chapitre 4, 112
Chapitre 5, 114
Recherche 117
Image détaillée
Dans le livre
Plus les problèmes se complexifient, plus les solutions basées sur des règles deviennent difficiles.
Le travail génératif dont il est question dans ce livre est précisément ce type de travail.
Par exemple, supposons que nous voulions générer une image à partir de l'instruction suivante : « Silhouette d'un chien et de son maître courant au bord des vagues sur une plage au coucher du soleil ».
Dans ce cas, vous devriez les informer à l'avance de la couleur du ciel au coucher du soleil, de la forme des vagues et des mouvements possibles du chien et de son maître.
Nous devons aussi leur apprendre ce qui se passe lorsqu'ils sont combinés.
Le coucher du soleil devrait se refléter dans la couleur de la mer, et cette lumière réfléchie devrait également affecter la couleur des chiens et des personnes.
Selon les lois de la physique, les silhouettes du chien et de son maître devraient être opposées au soleil.
--- p.6
Passons en revue les distributions de probabilité.
Une distribution de probabilité attribue une probabilité supérieure ou égale à 0 à chaque événement possible.
Et la somme des probabilités attribuées à tous les événements doit être exactement égale à 1.
Par exemple, si vous lancez un dé et qu'il vous indique ce qui va se passer, il s'agit d'une distribution de probabilité avec une probabilité de 1/6.
De plus, la probabilité que le temps soit ensoleillé, nuageux ou pluvieux demain aura des distributions de probabilité telles que 1/2, 1/3 et 1/6, respectivement.
--- p.35
Il existe différents flux autour de nous, tels que le flux d'air et le flux d'eau.
De manière générale, l'état de la matière est classé en trois types : solide, liquide et gazeux, en fonction de la température et de la pression ; un écoulement peut être observé dans les liquides et les gaz.
Par exemple, l'eau ou la vapeur obtenue en chauffant de l'eau a un écoulement.
Sous l'effet du flux, la matière peut librement changer de forme et se déplacer le long du courant.
Le flux possède diverses propriétés, mais parmi elles, la « continuité » est particulièrement importante lorsqu'il s'agit de modèles génératifs.
La continuité signifie que la matière n'apparaît ni ne disparaît soudainement sans raison, ou qu'elle ne se déforme pas soudainement pour apparaître à un autre endroit lorsqu'elle se déplace.
--- pp.47-48
Imaginons que vous écriviez à l'encre sur la surface de l'eau.
Les lettres écrites avec cette encre se dissoudront progressivement au fil du temps, et finalement l'encre se mélangera uniformément à l'eau.
(…) Si nous pouvions reproduire ce processus de diffusion d’encre dans le sens inverse, nous pourrions revenir d’un état où l’encre est uniformément mélangée à l’eau à un état où les lettres sont à nouveau écrites à l’encre.
L'idée est donc qu'en inversant le processus d'ajout de bruit à un objet ordonné, en le détruisant progressivement et en le transformant en un désordre complet, on peut créer de l'ordre à partir du désordre, c'est-à-dire réaliser la création.
--- pp.68-69
Comprendre la généralisation est essentiel pour comprendre comment les données d'entraînement sont utilisées pour générer de nouvelles données et pourquoi des résultats inattendus peuvent survenir.
Par exemple, les généralisations peuvent parfois conduire à un phénomène appelé hallucination.
Il s'agit d'un problème lié à la génération de données irréalistes qui n'existent pas dans les données d'entraînement.
Bien que ce phénomène ne pose généralement pas de problème lors de la génération d'images, d'audio et de vidéo, il peut engendrer des difficultés importantes lorsqu'on essaie de générer du contenu à partir de faits.
Il est donc souhaitable de pouvoir contrôler la généralisation avec plus de précision.
Le travail génératif dont il est question dans ce livre est précisément ce type de travail.
Par exemple, supposons que nous voulions générer une image à partir de l'instruction suivante : « Silhouette d'un chien et de son maître courant au bord des vagues sur une plage au coucher du soleil ».
Dans ce cas, vous devriez les informer à l'avance de la couleur du ciel au coucher du soleil, de la forme des vagues et des mouvements possibles du chien et de son maître.
Nous devons aussi leur apprendre ce qui se passe lorsqu'ils sont combinés.
Le coucher du soleil devrait se refléter dans la couleur de la mer, et cette lumière réfléchie devrait également affecter la couleur des chiens et des personnes.
Selon les lois de la physique, les silhouettes du chien et de son maître devraient être opposées au soleil.
--- p.6
Passons en revue les distributions de probabilité.
Une distribution de probabilité attribue une probabilité supérieure ou égale à 0 à chaque événement possible.
Et la somme des probabilités attribuées à tous les événements doit être exactement égale à 1.
Par exemple, si vous lancez un dé et qu'il vous indique ce qui va se passer, il s'agit d'une distribution de probabilité avec une probabilité de 1/6.
De plus, la probabilité que le temps soit ensoleillé, nuageux ou pluvieux demain aura des distributions de probabilité telles que 1/2, 1/3 et 1/6, respectivement.
--- p.35
Il existe différents flux autour de nous, tels que le flux d'air et le flux d'eau.
De manière générale, l'état de la matière est classé en trois types : solide, liquide et gazeux, en fonction de la température et de la pression ; un écoulement peut être observé dans les liquides et les gaz.
Par exemple, l'eau ou la vapeur obtenue en chauffant de l'eau a un écoulement.
Sous l'effet du flux, la matière peut librement changer de forme et se déplacer le long du courant.
Le flux possède diverses propriétés, mais parmi elles, la « continuité » est particulièrement importante lorsqu'il s'agit de modèles génératifs.
La continuité signifie que la matière n'apparaît ni ne disparaît soudainement sans raison, ou qu'elle ne se déforme pas soudainement pour apparaître à un autre endroit lorsqu'elle se déplace.
--- pp.47-48
Imaginons que vous écriviez à l'encre sur la surface de l'eau.
Les lettres écrites avec cette encre se dissoudront progressivement au fil du temps, et finalement l'encre se mélangera uniformément à l'eau.
(…) Si nous pouvions reproduire ce processus de diffusion d’encre dans le sens inverse, nous pourrions revenir d’un état où l’encre est uniformément mélangée à l’eau à un état où les lettres sont à nouveau écrites à l’encre.
L'idée est donc qu'en inversant le processus d'ajout de bruit à un objet ordonné, en le détruisant progressivement et en le transformant en un désordre complet, on peut créer de l'ordre à partir du désordre, c'est-à-dire réaliser la création.
--- pp.68-69
Comprendre la généralisation est essentiel pour comprendre comment les données d'entraînement sont utilisées pour générer de nouvelles données et pourquoi des résultats inattendus peuvent survenir.
Par exemple, les généralisations peuvent parfois conduire à un phénomène appelé hallucination.
Il s'agit d'un problème lié à la génération de données irréalistes qui n'existent pas dans les données d'entraînement.
Bien que ce phénomène ne pose généralement pas de problème lors de la génération d'images, d'audio et de vidéo, il peut engendrer des difficultés importantes lorsqu'on essaie de générer du contenu à partir de faits.
Il est donc souhaitable de pouvoir contrôler la généralisation avec plus de précision.
--- p.94
Avis de l'éditeur
Un livre expliquant l'IA générative uniquement à l'aide de texte et d'images.
Les techniques génératives basées sur les flux, et notamment les modèles de diffusion, ont émergé dans de nombreux domaines, y compris la génération d'images, d'audio et de vidéo.
Daisuke Okanohara, le plus grand expert japonais en IA, a écrit « The Mathematics of Diffusion Models », qui explique clairement le modèle de diffusion mathématiquement, et cette fois-ci il a écrit « The Structure of Generative AI », qui explique l'intégralité de l'IA générative en utilisant uniquement du texte et des images, sans aucune formule mathématique.
Il est rédigé dans un style facile à lire, compréhensible même par les non-spécialistes, et couvre tous les aspects, de l'histoire de l'IA générative aux modèles de flux, de diffusion et de correspondance des flux, en passant par le transport optimal et les perspectives d'avenir.
Plutôt que d'éviter les formules, je préfère utiliser des métaphores du quotidien. Par exemple, je commence mon explication du modèle de diffusion comme suit :
« Imaginons que vous écriviez à l’encre sur la surface de l’eau. »
Les lettres écrites avec cette encre se dissoudront progressivement au fil du temps, et finalement l'encre se mélangera uniformément à l'eau.
(…) Si nous pouvions reproduire ce processus de diffusion d’encre dans le sens inverse, nous pourrions revenir d’un état où l’encre est uniformément mélangée à l’eau à un état où les lettres sont à nouveau écrites à l’encre.
Autrement dit, l'idée est qu'en inversant le processus d'ajout de bruit à un objet d'ordre, en le détruisant progressivement et en le transformant en un désordre complet, nous pouvons créer de l'ordre à partir du désordre, c'est-à-dire le créer.
Daisuke Okanohara est célèbre en tant que cofondateur de Preferred Networks, la plus grande licorne japonaise spécialisée dans l'IA, mais c'est aussi un auteur chevronné qui a écrit plus d'une douzaine d'ouvrages professionnels et qui est reconnu pour « fournir un contexte riche autour de la technologie ».
Grâce à ses explications claires et précises, comprenons mieux la structure de l'IA générative, qui est au cœur de l'informatique actuelle.
Les techniques génératives basées sur les flux, et notamment les modèles de diffusion, ont émergé dans de nombreux domaines, y compris la génération d'images, d'audio et de vidéo.
Daisuke Okanohara, le plus grand expert japonais en IA, a écrit « The Mathematics of Diffusion Models », qui explique clairement le modèle de diffusion mathématiquement, et cette fois-ci il a écrit « The Structure of Generative AI », qui explique l'intégralité de l'IA générative en utilisant uniquement du texte et des images, sans aucune formule mathématique.
Il est rédigé dans un style facile à lire, compréhensible même par les non-spécialistes, et couvre tous les aspects, de l'histoire de l'IA générative aux modèles de flux, de diffusion et de correspondance des flux, en passant par le transport optimal et les perspectives d'avenir.
Plutôt que d'éviter les formules, je préfère utiliser des métaphores du quotidien. Par exemple, je commence mon explication du modèle de diffusion comme suit :
« Imaginons que vous écriviez à l’encre sur la surface de l’eau. »
Les lettres écrites avec cette encre se dissoudront progressivement au fil du temps, et finalement l'encre se mélangera uniformément à l'eau.
(…) Si nous pouvions reproduire ce processus de diffusion d’encre dans le sens inverse, nous pourrions revenir d’un état où l’encre est uniformément mélangée à l’eau à un état où les lettres sont à nouveau écrites à l’encre.
Autrement dit, l'idée est qu'en inversant le processus d'ajout de bruit à un objet d'ordre, en le détruisant progressivement et en le transformant en un désordre complet, nous pouvons créer de l'ordre à partir du désordre, c'est-à-dire le créer.
Daisuke Okanohara est célèbre en tant que cofondateur de Preferred Networks, la plus grande licorne japonaise spécialisée dans l'IA, mais c'est aussi un auteur chevronné qui a écrit plus d'une douzaine d'ouvrages professionnels et qui est reconnu pour « fournir un contexte riche autour de la technologie ».
Grâce à ses explications claires et précises, comprenons mieux la structure de l'IA générative, qui est au cœur de l'informatique actuelle.
SPÉCIFICATIONS DES PRODUITS
- Date d'émission : 13 mai 2025
- Nombre de pages, poids, dimensions : 132 pages | 170 × 225 × 8 mm
- ISBN13 : 9791194587231
Vous aimerez peut-être aussi
카테고리
Langue coréenne
Langue coréenne
![GQ KOREA Mark (Mensuel) : décembre [2025]](http://librairie.coreenne.fr/cdn/shop/files/8ef265dbbfbf186523ed75ba7319009d.jpg?v=1765340328&width=3840)
