Dans un avenir proche, la quasi-totalité des logiciels fonctionneront, d'une manière ou d'une autre, en interaction avec l'IA. De même que tous les logiciels exécutés sur un PC fonctionnent grâce à un système d'exploitation, cela signifie que, dans le futur, la quasi-totalité des logiciels seront intégrés à l'IA.
D’ici fin 2025, il y aura probablement plus de logiciels intégrant l’IA que de logiciels ne l’intégrant pas.
--- p.26

Il existe une autre raison particulière à la création d'humanoïdes.
Ce type de robot humanoïde est appelé « intelligence artificielle incarnée ».
Que signifie « avoir un corps » ? Certains scientifiques spécialisés en IA affirment que pour être véritablement « intelligente », l'IA doit posséder un « corps ».
Voilà comment on peut se faire une représentation du monde.
--- p.44

Les modèles linguistiques à grande échelle actuels ne permettent pas d'éliminer les hallucinations.
Parce que c'est comme les deux faces d'une même pièce.
Bien sûr, comparé à ChatGPT, les hallucinations dans GPT-4 Turbo sont sensiblement réduites.
Elle continue de diminuer.
Mais je ne pense pas qu'on puisse l'éliminer.
--- p.102

On peut dire que cette culture de l'open source constitue le fondement du développement toujours plus rapide du secteur informatique.
Car une fois que quelqu'un a écrit le code permettant d'afficher correctement un graphique, tout le monde sur la planète peut l'utiliser sans avoir à le réécrire.
Comme mentionné précédemment, Transformers, Attention et Rama2 sont tous des logiciels libres. En ce sens, le secteur informatique peut être considéré comme un véritable creuset d'innovations, où l'intelligence collective est à l'œuvre au quotidien.

--- p.179

Le mouvement open source prend également de l'ampleur dans le domaine de l'IA.
Meta a publié Rama 3.1 le 23 juillet 2024 (heure locale aux États-Unis).
Rama3.1 est le plus grand modèle d'IA open-source jamais créé, avec 405 milliards de paramètres.
Meta a affirmé que ce modèle surpasse GPT-4 d'OpenAI et Claude 3.5 Sonnet d'Anthropologie. GPT-4 possède environ 1 800 milliards de paramètres.
Il offre des performances similaires dans un format trois fois plus petit.

--- p.181

La tendance à la miniaturisation prend également de l'ampleur.
OpenAI, Microsoft, Google, Meta, Apple et d'autres encore publient des modèles plus petits dont les performances rivalisent avec celles des modèles plus grands qui les ont précédés.
La miniaturisation est inévitable pour plusieurs raisons.
Tout d'abord, l'IA actuelle utilise trop de ressources.
On estime que l'entraînement de ChatGPT a coûté 3,7 billions de wons.
Rama 3.1 a exécuté 16 000 unités du dernier GPU H100.
Elle consomme suffisamment d'électricité pour alimenter simultanément des milliers de foyers.
Il est difficile d'équilibrer les chiffres comme ça.

--- p.196

OpenAI n'a publié aucune spécification ni aucun modèle depuis GPT-4.
Nous ne divulguons pas la taille du modèle, la quantité de matériel investi, l'ensemble de données utilisé pour l'entraînement, ni la méthode d'entraînement.
Nous n'avons exposé que l'API.
OpenAI a invoqué la « confidentialité de l'entreprise » pour justifier son refus de divulguer davantage d'informations, mais cette attitude paraît en réalité assez étrange compte tenu des principes fondateurs d'OpenAI.
« Si l’IA venait à dysfonctionner, il faudrait peut-être envisager une autre solution », a déclaré Sam Altman, PDG d’OpenAI.
« C’est pourquoi aucune entreprise ne devrait posséder ce type d’IA », a-t-il déclaré.
C’est pourquoi OpenAI est critiquée pour être essentiellement une IA « fermée ».
--- p.239

Asilomar devient le théâtre d'une autre réunion six ans plus tard.
En mars 2023, un groupe d'experts en IA et en informatique, dont Stuart Russell, Elon Musk (fondateur de Tesla) et Steve Wozniak (cofondateur d'Apple), a publié une déclaration appelant à « l'arrêt des expériences d'IA à grande échelle ».
Ils ont affirmé que le développement de l'IA échappe à tout contrôle, mais sans une planification et une gestion adéquates, et que des décisions de ce type ne devraient pas être laissées uniquement aux mains de dirigeants technologiques non élus.

--- p.283

Le débat autour de la législation sur l'IA démontre que, même si le secteur plaide parfois pour une réglementation des grands modèles et annonce même ses propres engagements, il hésite à en assumer réellement la responsabilité.
On peut également supposer que, contrairement aux affirmations de l'opposition, ils ne sont pas conscients de la possibilité d'un danger réel.
Comme le soulignent le professeur Hinton et d'autres dans leur lettre, « si ces risques relevaient véritablement de la science-fiction, les entreprises ne devraient avoir aucun problème à assumer la responsabilité de les atténuer ».

--- p.347

Le problème, c'est qu'ils sont chargés de développer d'importants projets d'intelligence artificielle à travers le monde.
Pour ainsi dire, on pourrait dire que nous sommes contraints d'adopter leurs idées sans même nous en rendre compte.
Cette « super élite non élue » risque non seulement de monopoliser le développement de l'intelligence artificielle, mais aussi l'idéologie.
C’est une autre raison pour laquelle l’établissement de réglementations et de normes internationales pour le développement de l’intelligence artificielle est si urgent et important.
--- p.363

Si les États-Unis, l'Allemagne et le Royaume-Uni sont devenus des pays développés et peuvent attirer des talents du monde entier, c'est parce qu'ils possèdent des universités et des instituts de recherche de renommée mondiale.
Aujourd'hui, moins de la moitié de nos universités possèdent ne serait-ce qu'un seul département de sciences fondamentales.
Il est généralement admis que les doctorants talentueux ne poursuivent pas leurs études dans les universités nationales, mais plutôt à l'étranger.
C'est malheureusement bien maigre comparé à la façon dont les pays développés utilisent leurs universités de renommée mondiale pour attirer les talents du monde entier comme des aimants.
Si le gouvernement ne parvient pas à modifier le rythme de ses politiques scientifiques et technologiques et s'il abandonne l'attitude et les stratégies d'un pays en retard de développement, nous risquons de nous retrouver rapidement dans l'ignorance, comme un pays en développement.

--- pp.395-396