La suite du best-seller à 100 000 exemplaires dans le domaine de l'IA !
ChatGPT et LLM, guerres d'entreprises en IA et semi-conducteurs,
Connaissances et perspectives sur la technologie dans un seul livre !

« Mais comment fonctionne ChatGPT, au juste ? »
« Quel sera l’avenir des industries de l’IA et des semi-conducteurs ? »
« Comment mon travail et ma vie vont-ils changer ? »
Le livre qui apporte actuellement la réponse la plus précise et la plus originale à cette question !

Les auteurs de « AI Knowledge Even Non-Majors Can Understand », ouvrage qui a conquis 100 000 lecteurs, sont de retour avec un second livre consacré à ChatGPT.
Ce livre explique les principes de ChatGPT, une IA générative de pointe, de manière simple et intéressante, avec des illustrations.
Plutôt que de simplement présenter la technologie, il fournit des informations spécifiques sur la manière dont le modèle GPT, la structure de base de ChatGPT, apprend les informations, génère des phrases et en comprend le sens.
Les concepts complexes tels que les grands modèles de langage (LLM), les transformateurs et les environnements accélérés par GPU sont expliqués de manière à être compréhensibles par tous.

En particulier, l'auteur, ingénieur en intelligence artificielle et expert en droit (LLM) dans ce domaine, raconte des histoires vivantes tirées de son expérience pratique.
Au-delà de la théorie, il aborde les technologies concrètes qui composent ChatGPT, les stratégies des entreprises mondiales et les enjeux éthiques et sociaux auxquels est confrontée l'IA.
Ce livre aborde l'ensemble des technologies et tendances liées à ChatGPT, ainsi que les personnes et la vision qui les sous-tendent. Il constitue une introduction essentielle à ChatGPT pour tous, des néophytes en IA aux praticiens souhaitant exploiter l'IA générative, en passant par les développeurs désireux d'approfondir leurs connaissances de cette technologie.

Nombreux sont ceux qui s'attendent à ce que ChatGPT transforme profondément le paysage des entreprises mondiales et inaugure une nouvelle ère.
Dans son ouvrage La Structure des révolutions scientifiques, le philosophe des sciences Thomas Kuhn a proposé le concept d'un paradigme qui transcende les cadres existants, et beaucoup pensent que ChatGPT marquera le début d'un nouveau paradigme.
De nombreux experts prévoient que les technologies d'IA générative transformeront notre vie quotidienne et la société d'une manière que nous n'avons jamais imaginée.
--- Extrait du « Chapitre 1 : GPT-4 surpasse les humains »

GPT, créé par OpenAI, était un modèle de langage typique.
Il a appris environ 7 000 livres et possédait environ 117 millions de paramètres, comme Burt.
Au départ, son utilisation était ambiguë.
Il était difficile de trouver une utilisation appropriée pour un modèle qui se contentait de générer des phrases.
Moins d'un an plus tard, OpenAI annonce GPT-2.
Le plus surprenant est que le nombre de paramètres soit passé à 1,5 milliard, soit 10 fois plus que dans la version précédente.
Les données d'entraînement ont également été multipliées par dix.
L'année suivante, GPT-3 s'est avéré encore plus impressionnant.
Le nombre de paramètres est passé à 175 milliards, soit 100 fois plus que dans la version précédente.
À partir de ce moment, la concurrence entre les entreprises concernant la taille des modèles commence véritablement.
À mesure que le modèle s'étoffait, des articles ont commencé à paraître les uns après les autres, démontrant ses bonnes performances dans diverses tâches, voire même sa capacité à surgir de nulle part.
Des choses qui ne se produisaient pas lorsque le modèle était petit sont soudainement devenues plus intelligentes une fois qu'il a dépassé une certaine taille.
Vous commencerez à manifester une capacité insoupçonnée à comprendre facilement des connaissances qui ne vous ont pas été enseignées.
Dans le même temps, les attentes concernant GPT ont également augmenté.
Et enfin, ChatGPT, que nous connaissons tous si bien, sera dévoilé au monde entier en novembre 2022.
ChatGPT fait sensation dans le monde entier.
En mars 2023, le monde entrera véritablement dans l'ère de l'intelligence artificielle avec l'arrivée de GPT-4, qui affiche des performances encore plus impressionnantes.
--- Extrait du « Chapitre 3 : La recette secrète pour réussir le Chat GPT »

La plus grande innovation du LLM résidait dans le fait qu'il exigeait l'apprentissage d'une quantité énorme de textes sans aucune intervention humaine.
L'idée était qu'un modèle de pré-apprentissage pouvait être complété en apprenant les innombrables informations que l'humanité a accumulées jusqu'à présent sans aucun traitement séparé.
Si nous avions dû attribuer des réponses correctes à chaque donnée ou la catégoriser séparément, le LLM d'aujourd'hui n'aurait pas été possible.
…La méthode la plus simple et la plus efficace est la DPO, proposée par une équipe de recherche de l'université de Stanford. La DPO est une méthode d'optimisation qui reflète directement les préférences humaines.
Traduit en coréen, cela se traduit approximativement par « optimisation directe des préférences ». L'OPP contribue de manière significative à simplifier les processus complexes et à accroître l'efficacité.
--- Extrait du « Chapitre 4 : Optimisation des modèles ultra-larges »

o1 est un modèle qui se comporte comme s'il avait fait un excellent travail d'ingénierie rapide.
o1 introduit un processus de réflexion qui affine progressivement l'invite.
Dans la première réponse, vous complétez la question, vous la reposez, puis vous utilisez cette réponse pour compléter davantage la question.
De cette manière, nous continuons à affiner la consigne en plusieurs étapes, pour finalement obtenir la meilleure réponse.
C'est donc similaire à l'automatisation de tout le travail d'ingénierie des prompteurs qui était initialement réalisé par des personnes.
…nous avons une démarche intellectuelle pour trouver une meilleure réponse, et dans ce processus, nous explorons différentes possibilités.
Nous examinons attentivement les points de vue opposés tout en présentant nos propres contre-arguments.
Mieux encore, tout ce processus n'est plus réalisé par des humains.
Le modèle se déroule automatiquement durant le processus d'inférence.
--- Extrait du « Chapitre 5 : La magie de l'ingénierie des prompts »

Jetons un coup d'œil rapide à la valorisation de plusieurs startups spécialisées dans l'IA.
OpenAI est incontestablement le numéro un.
Bien qu'il ne s'agisse que d'une start-up fondée il y a environ 9 ans, sa valeur d'entreprise dépasse les 430 billions de wons dans notre monnaie.
Voilà toute l'ampleur du problème pour une start-up qui accuse encore un déficit de plusieurs billions et qui n'est même pas encore entrée en bourse.
La deuxième place est occupée par Antropic.
Il s'agit d'une entreprise créée par des personnes issues d'OpenAI.
Elle est considérée comme une entreprise dont la compétitivité est comparable à celle d'OpenAI.
La troisième place revient à xAI d'Elon Musk.
Malgré un écart avec OpenAI, cette dernière est devenue une licorne avec une valeur d'entreprise de plus de 70 billions de wons (en monnaie locale).
C’est Elon Musk qui a fondé OpenAI, l’influence qu’une seule personne a eue sur l’industrie de l’IA est donc véritablement énorme.
Et toutes les entreprises que j'ai mentionnées jusqu'à présent sont des entreprises américaines.
Les trois premières entreprises sont toutes situées dans la Silicon Valley.
Les États-Unis sont la première puissance économique mondiale sans égale, et l'écart avec l'Europe se creuse de jour en jour.

--- Extrait du « Chapitre 6 : La concurrence entre les entreprises mondiales pour un marché de 1 000 billions de wons »

NVIDIA souhaite depuis longtemps que ses GPU soient utilisés dans divers domaines autres que le jeu vidéo.
Et nous commençons à étudier de nouveaux modèles de programmation susceptibles de rendre les GPU plus polyvalents.
En 2006, une plateforme appelée CUDA a finalement vu le jour.
NVIDIA a ouvert la voie à la programmation GPU en utilisant le langage C++ familier avec CUDA.
Il ne s'agit plus d'une unité distincte pour chaque usage, mais plutôt d'une architecture unifiée qui vous permet de coder librement en utilisant le langage que vous utilisez habituellement pour la recherche.
Cela a rendu les GPU plus accessibles aux scientifiques et aux chercheurs.
… En 2009, l’université de Stanford a finalement mené la première expérience visant à introduire des GPU dans les réseaux neuronaux artificiels.
À cette époque, l'article révélait que l'apprentissage pouvait être jusqu'à 70 fois plus rapide, surprenant de nombreux chercheurs à travers le monde.
À partir de ce moment, une nouvelle histoire de NVIDIA commence.
Suite à cela, tous, sans distinction de sexe, ont commencé à utiliser les GPU dans la recherche en IA. Grâce aux GPU, les vitesses de traitement étaient des dizaines de fois supérieures à celles d'auparavant ; il n'y avait donc aucune raison de ne pas les utiliser.
Alors que d'excellents résultats de recherche continuent d'émerger dans le domaine de l'intelligence artificielle, les GPU s'imposent également comme des équipements représentatifs pour l'intelligence artificielle.
Tout cela a été possible grâce à la puissance de la plateforme CUDA, qui a permis aux chercheurs d'écrire facilement du code GPU.

--- Extrait du « Chapitre 7 : Nvidia et la guerre des semi-conducteurs »