L'histoire inachevée : La fable du moineau et du hibou
introduction
Remerciements
1. Développement passé et capacités actuelles
Le développement de l'histoire et la grande histoire _ Les grandes espérances _ Temps d'espoir et de désespoir Les technologies de pointe de l'intelligence artificielle Quelques réflexions sur l'avenir de l'intelligence artificielle
2. Quelques voies vers la superintelligence
Intelligence artificielle _ Émulation du cerveau entier _ Capacités cognitives biologiques _ Interface cerveau-ordinateur _ Réseaux et organisation _ Résumé
3 formes de superintelligence
Superintelligence véloce _ Superintelligence collective _ Superintelligence qualitative _ Influence directe et indirecte _ La source des avantages de l'intelligence numérique
4. Dynamique de la diffusion de l'intelligence
Rythme et vitesse du saut _ Résistance _ Capacité d'optimisation et diffusion à grande échelle _
5 avantages stratégiques clairs
Le leader disposera-t-il d'un avantage stratégique clair ? Quelle sera l'ampleur d'un projet de R&D réussi ? D'un avantage stratégique clair à une domination monopolistique.
6 superpouvoirs cognitifs
Fonctionnalités et superpouvoirs _ Scénarios de prise de contrôle par l'IA _ Le pouvoir de surmonter la résistance naturelle et la résistance des autres agents
7 Volonté surintelligente
La relation entre intelligence et motivation - Convergence instrumentale
8. La fin prévue est-elle vouée à l'échec ?
La fin annoncée de la prolifération des renseignements est-elle une catastrophe existentielle ? _ Un tournant dangereux _ Des échecs malins
9 Problèmes de contrôle
Problème à deux agents _ Méthode de contrôle des capacités _ Méthode de sélection des motivations _ Aperçu
10 Oracle, Génie, Souverain, Outil
Comparaison des outils d'IA Oracle Genie et Sovereign
11 scénarios multipolaires
Chevaux et humains _ La vie dans l'économie algorithmique _ L'émergence d'un système de domination post-monopolistique transitoire ?
12 Acquisition de valeur
Problème de pondération des valeurs _ Sélection évolutionnaire Apprentissage par renforcement Attribution combinée de valeurs Hypothèse motivationnelle ad hoc Apprentissage des valeurs Coordination de l'émulation Conception institutionnelle Vue d'ensemble
13. Sélection des critères de sélection
Le besoin de normativité indirecte – la volonté d’assumer de manière cohérente – le modèle de la loi morale – agir comme je le souhaite – la liste des éléments – s’en approcher suffisamment
14 dessins stratégiques
Stratégie scientifique et technologique _ Voies et facilitateurs _ Collaboration
15 Temps de décision
Philosophie limitée dans le temps _ Que faire ? _ Laisser s'exprimer le meilleur de la nature humaine et résoudre le problème.

principal
Références
Note du traducteur
Recherche

Le match de 2016 entre AlphaGo et le joueur de go professionnel sud-coréen Lee Sedol a captivé l'attention du monde entier, et le résultat a suscité à la fois surprise et inquiétude.
Ce match, qui a clairement illustré l'état actuel de l'intelligence artificielle, a fait prendre conscience à tous que le jour où l'intelligence artificielle sera utilisée dans le monde réel n'est pas loin.
Grâce à leur intelligence actuelle, les humains ont atteint une position dominante sur Terre.
Si une superintelligence surpassant largement l'intelligence humaine venait à se développer, quel avenir attendrait l'humanité ? Cet ouvrage explorera comment nous pourrions aborder cette question, considérée comme le problème le plus important et le plus grave auquel l'humanité est confrontée.
Avant qu'une superintelligence supérieure à l'intelligence humaine ne soit développée, l'humanité n'aura qu'une seule chance.
La manière dont nous exploiterons cette opportunité dépend désormais des efforts de toute l'humanité.

Le chapitre 1 de ce livre décrit l'histoire et les développements actuels dans le domaine de l'intelligence artificielle, tandis que le chapitre 2 explore plusieurs voies technologiques possibles vers la superintelligence et prédit avec prudence quand cela pourrait devenir possible.
Le chapitre 3 examine les formes de superintelligence (superintelligence de vitesse, superintelligence qualitative et superintelligence collective) et explore le potentiel de l'intelligence basée sur les machines.
Le chapitre 4 examine à quel moment l'intelligence artificielle, ayant atteint le niveau d'intelligence humaine, connaîtra une explosion d'intelligence et atteindra la superintelligence.
Le chapitre 5 aborde le développement de la superintelligence, qu'il s'agisse du développement d'une seule superintelligence ou de plusieurs superintelligences développées simultanément.
Le chapitre 6 explore les différentes capacités que pourrait posséder la superintelligence et examine ce qu'elle pourrait faire avec ces capacités.
Le chapitre 7 examine les objectifs ultimes que la superintelligence pourrait atteindre grâce à ses immenses capacités, ainsi que les motivations qui pourraient sous-tendre ces objectifs.
Le chapitre 8 propose un regard neuf sur notre perspective actuelle concernant la superintelligence, en soulignant que la superintelligence est une intelligence totalement nouvelle, distincte de celle des humains.
Le chapitre 9 déplace le centre de la discussion vers le problème du contrôle des agents superintelligents, en proposant des méthodes de contrôle de la superintelligence selon deux perspectives : le contrôle des capacités et la sélection des motivations.
Les outils Oracle, Genie et Sovereign, qui sont des programmes pouvant être utilisés pour les problèmes de contrôle, sont traités au chapitre 10.
Le chapitre 11 explore ce qui se passe dans une société post-transitionnelle, une fin multipolaire, peuplée d'une multitude d'agents superintelligents conflictuels.
Le chapitre 12 explore les méthodes de sélection motivationnelle susceptibles de contrôler fondamentalement la superintelligence.
Le chapitre 13 traite des valeurs que nous devrions choisir d'attribuer à la superintelligence.
Dans les chapitres 14 et 15, nous examinerons les conclusions des chapitres précédents d'un point de vue macro et nous considérerons l'ensemble des enseignements que l'on peut en tirer.
Enfin, je propose plusieurs mesures que l'humanité peut prendre dès maintenant pour éviter la menace existentielle que représente la superintelligence à l'avenir.

Ce livre soulève des questions fondamentales auxquelles l'humanité doit répondre dans sa transition de l'intelligence artificielle à la superintelligence, et se projette dans l'avenir en envisageant ce que nous pouvons faire pour relever des défis inédits pour l'humanité.
La superintelligence, dont le développement est prévu au cours de ce siècle, déterminera l'avenir de l'humanité.
L'avenir de l'ère de l'intelligence artificielle, vaguement imaginé à travers les romans et les films de science-fiction, sera réinventé comme une réalité actuelle et vivante grâce à ce livre.

Avant qu'une prolifération massive de l'intelligence ne se produise, les humains sont comme de petits enfants qui jouent avec des bombes.
Ceci illustre la dissonance entre le pouvoir des jouets et l'immaturité du comportement humain.
La superintelligence est un objectif redoutable pour lequel nous ne sommes pas prêts actuellement et pour lequel nous ne serons pas prêts avant un certain temps.
Il est presque impossible de prédire quand une explosion se produira, mais si nous tenons l'appareil près de notre oreille, nous pourrons entendre un léger tic-tac.

La chose sage à faire pour un enfant qui tient une bombe non explosée est de la poser prudemment, de quitter discrètement la pièce et d'alerter l'adulte le plus proche.
Mais dans le problème auquel nous sommes confrontés actuellement, nous n'avons pas affaire à un seul enfant, mais à plusieurs, et chaque enfant a un déclencheur indépendant.
Il y a peu de chances de trouver une solution raisonnable pour éliminer tous les dangers.
Un imbécile va appuyer sur le bouton de démarrage pour voir ce qui se passe.

Personne ne pourra échapper indemne à la tempête de prolifération des renseignements qui s'abattra sur le ciel tout entier, dans toutes les directions.
Dans ce cas, aucun adulte ne sera visible pour signaler l'incident et demander de l'aide.