Comment créer une intelligence artificielle qui coexiste avec les humains
 |
Description
Introduction au livre
L’état actuel de l’IA, ses possibilités et ses risques, et les orientations d’un développement respectueux de l’humain Un chef-d'œuvre du professeur Stuart Russell de l'UC Berkeley, une autorité reconnue en matière d'intelligence artificielle. En cette nouvelle ère d'or de la recherche en IA, où en est l'intelligence artificielle ? Une IA superintelligente et généraliste est-elle réellement envisageable ? Les machines domineront-elles les humains ? Quel avenir attend l'humanité ? Au-delà d'un optimisme irresponsable et des visions dystopiques d'un avenir radieux grâce à l'IA, cet ouvrage examine l'état actuel de l'IA, son potentiel et ses risques, ainsi que les différentes perspectives sur ces questions, dans une perspective réaliste et globale. Il propose des pistes et des principes pour créer une IA au service de l'humanité. Stuart Russell, de l'université de Californie à Berkeley, auteur du manuel de référence sur l'IA, compte parmi les voix les plus réfléchies sur les risques liés à l'IA. Chercheur de premier plan spécialisé dans ce domaine, j'ai créé le « Centre d'IA compatible avec l'humain » et je me consacre depuis longtemps à la réflexion et à l'exploration de cette question. Cet ouvrage propose une analyse approfondie et exhaustive qui rend le « dilemme du tramway » presque trivial. Cet ouvrage est indispensable pour comprendre le débat actuel sur l'IA et constitue un guide précieux pour évaluer le présent et l'avenir du développement de l'IA, car développeurs et citoyens doivent réfléchir à cette technologie, qui aura probablement le plus grand impact sur l'avenir de l'humanité. |
- Vous pouvez consulter un aperçu du contenu du livre.
Aperçu
indice
Introduction
Pourquoi ce livre ? Pourquoi maintenant ?
Présentation de ce livre
1.
Si nous réussissons
Comment en sommes-nous arrivés là ?
Que va-t-il se passer ensuite ?
Qu'est-ce qui a bien pu mal tourner ?
Pouvez-vous le réparer ?
2.
Intelligence humaine et artificielle
intelligence
ordinateur
ordinateur intelligent
3.
Comment l'IA va-t-elle évoluer à l'avenir ?
futur proche
Quand l'IA superintelligente verra-t-elle le jour ?
Prochaines avancées conceptuelles
Imaginer des machines superintelligentes
Les limites de la superintelligence
Comment l'IA profitera-t-elle à l'humanité ?
4. Mauvaise utilisation de l'IA
Surveillance, persuasion et contrôle
armes autonomes létales
Éliminer le travail tel que nous le connaissons
D'autres rôles à supprimer
5.
IA trop intelligente
Problème des gorilles
Problème du roi Midas
Peur et cupidité : objectifs instrumentaux
Explosion du renseignement
6.
Encore un débat sur l'IA
négatif
Éviter
tribalisme
juste…
Reprise du débat
7. L'IA : une approche différente
Principes des machines bénéfiques
Des raisons d'être optimiste
Raisons d’être prudent
8.
IA bénéfique prouvée
garantie mathématique
Apprendre les préférences à partir du comportement
Jeu d'aide
demandes et ordres
titre du fil
amélioration personnelle cyclique
9.
Ce qui complique la situation : nous
des personnes diverses
beaucoup de gens
Un être humain beau, laid et jaloux
Une personne insensée et émotive
Les gens ont-ils vraiment des préférences ?
10.
Quel problème a été résolu ?
Machine bénéfique
Contrôle par IA
abuser
Faiblesse et autonomie humaine
Annexe A : Explorer les solutions
Annexe B Connaissances et logique
Annexe C Incertitude et probabilité
Annexe D Apprendre par l'expérience
Remerciements
principal
Droits d'auteur de la photo
Après le déménagement
Recherche
Pourquoi ce livre ? Pourquoi maintenant ?
Présentation de ce livre
1.
Si nous réussissons
Comment en sommes-nous arrivés là ?
Que va-t-il se passer ensuite ?
Qu'est-ce qui a bien pu mal tourner ?
Pouvez-vous le réparer ?
2.
Intelligence humaine et artificielle
intelligence
ordinateur
ordinateur intelligent
3.
Comment l'IA va-t-elle évoluer à l'avenir ?
futur proche
Quand l'IA superintelligente verra-t-elle le jour ?
Prochaines avancées conceptuelles
Imaginer des machines superintelligentes
Les limites de la superintelligence
Comment l'IA profitera-t-elle à l'humanité ?
4. Mauvaise utilisation de l'IA
Surveillance, persuasion et contrôle
armes autonomes létales
Éliminer le travail tel que nous le connaissons
D'autres rôles à supprimer
5.
IA trop intelligente
Problème des gorilles
Problème du roi Midas
Peur et cupidité : objectifs instrumentaux
Explosion du renseignement
6.
Encore un débat sur l'IA
négatif
Éviter
tribalisme
juste…
Reprise du débat
7. L'IA : une approche différente
Principes des machines bénéfiques
Des raisons d'être optimiste
Raisons d’être prudent
8.
IA bénéfique prouvée
garantie mathématique
Apprendre les préférences à partir du comportement
Jeu d'aide
demandes et ordres
titre du fil
amélioration personnelle cyclique
9.
Ce qui complique la situation : nous
des personnes diverses
beaucoup de gens
Un être humain beau, laid et jaloux
Une personne insensée et émotive
Les gens ont-ils vraiment des préférences ?
10.
Quel problème a été résolu ?
Machine bénéfique
Contrôle par IA
abuser
Faiblesse et autonomie humaine
Annexe A : Explorer les solutions
Annexe B Connaissances et logique
Annexe C Incertitude et probabilité
Annexe D Apprendre par l'expérience
Remerciements
principal
Droits d'auteur de la photo
Après le déménagement
Recherche
Image détaillée
Dans le livre
Ainsi, chaque fois que vous lisez un article affirmant qu'une technique d'IA « fonctionne comme le cerveau humain », vous pouvez supposer sans risque qu'il s'agit simplement d'une supposition ou d'une fiction.
Nous ne savons pratiquement rien de la conscience, je préfère donc ne rien dire. Personne dans le domaine de l'IA ne mène de recherches sur la conscience des machines, et personne ne sait par où commencer. Aucun comportement ne présuppose la conscience.
--- pp.36-37
Se focaliser uniquement sur la puissance de calcul brute est une erreur fondamentale. L'IA ne se résume pas à la seule vitesse.
Exécuter un algorithme mal conçu sur un ordinateur plus rapide ne le rend pas meilleur.
Cela vous amène simplement plus rapidement à la mauvaise réponse.
(Et plus il y a de données, plus le risque d'obtenir une mauvaise réponse est grand !) Le principal avantage des machines plus rapides est qu'elles permettent de réduire la durée des expériences, ce qui accélère les progrès de la recherche. Ce n'est pas le matériel qui freine l'IA.
C'est un logiciel.
Nous ne savons pas encore comment rendre les machines véritablement intelligentes.
Même si la machine était aussi grande que l'univers, ce serait la même chose.
--- p.65
Lorsque AlphaGo a vaincu Lee Sedol puis tous les autres meilleurs joueurs de go, beaucoup ont pensé que cela marquait le début de la fin, puisqu'une machine qui avait appris le jeu à partir de zéro avait battu l'humanité dans un jeu réputé extrêmement difficile, même pour les personnes les plus intelligentes.
Autrement dit, ce n'était qu'une question de temps avant que l'IA ne domine les humains.
Quand AlphaZero a gagné non seulement au Go mais aussi aux échecs et au janggi, même certains sceptiques ont pu finir par croire à ce point de vue.
Cependant, AlphaZero présente des limitations évidentes.
Cela ne fonctionne que pour le type de jeu à deux joueurs discontinu, observable et dont les règles sont connues.
Cette approche ne fonctionnera jamais pour conduire, éduquer, gouverner ou conquérir le monde.
--- p.80
Et c'est pourquoi Google est malheureusement confronté au problème du gorille.
En 2015, une ingénieure logiciel nommée Jackie Alcine s'est plainte sur Twitter que le service de classification de photos de Google Photos l'avait étiquetée, elle et ses amis, comme des gorilles.
On ignore précisément comment cette erreur s'est produite, mais il est presque certain que l'algorithme d'apprentissage automatique de Google a été conçu pour minimiser une fonction de perte dont les valeurs étaient explicitement spécifiées.
De plus, toutes les erreurs se seraient vu attribuer le même coût.
Autrement dit, nous supposerions que le coût d'une erreur de classification, c'est-à-dire le fait de classer une personne comme un gorille, est le même que celui d'une erreur de classification, c'est-à-dire le fait de classer un terrier de Norfolk comme un terrier de Norwich.
Comme l'ont clairement démontré les protestations publiques qui ont suivi, la véritable fonction de perte de Google (ou de ses utilisateurs) n'était pas de cet ordre.
--- p.97
Du point de vue des chercheurs en IA, la véritable percée a eu lieu 30 ou 40 ans avant que Deep Blue ne fasse irruption dans la conscience collective.
De même, les réseaux de neurones convolutifs profonds existaient et étaient mathématiquement bien compris depuis plus de 20 ans avant de faire la une des journaux.
Les avancées en matière d'IA que le public voit dans les médias — victoires historiques sur les humains, robots obtenant la citoyenneté saoudienne, etc. — n'ont que peu de rapport avec ce qui se passe réellement dans les laboratoires du monde entier.
La recherche en laboratoire implique beaucoup de réflexion et de discussion, notamment l'écriture de formules mathématiques sur un tableau blanc.
De nouvelles idées émergent constamment, sont abandonnées, puis redécouvertes.
Parfois, on se rend compte qu'une bonne idée (une véritable innovation) est passée inaperçue à l'époque, pour ensuite réaliser qu'elle a jeté les bases de progrès significatifs dans le domaine de l'IA.
Cela arrive parfois lorsqu'une personne le redécouvre à un moment plus opportun.
--- p.101
Les problèmes liés à la perception tactile et à la configuration de la main semblent susceptibles d'être résolus par l'impression 3D.
Boston Dynamics utilise déjà cette technologie dans certaines parties complexes de son robot humanoïde, Atlas.
La technologie de fabrication robotisée progresse rapidement, notamment grâce à l'apprentissage par renforcement profond.
L'avancée ultime — la mise en œuvre de tous ces éléments pour créer quelque chose qui commence même à ressembler aux merveilleuses capacités physiques des robots dans les films — viendra probablement du secteur des entrepôts, un secteur pourtant peu romantique.
Amazon emploie à elle seule des centaines de milliers de personnes qui retirent les produits des bacs de ses immenses entrepôts, les emballent et les expédient aux clients.
De 2015 à 2017, Amazon a organisé un concours annuel de préparation de commandes afin d'encourager le développement de robots capables d'effectuer cette tâche.
Bien qu'il reste encore beaucoup de chemin à parcourir, nous pouvons nous attendre à voir l'émergence rapide de robots très performants une fois que les questions de recherche clés seront résolues (peut-être au cours de la prochaine décennie).
--- p.115
Ce que nous voulons, c'est un robot qui découvre par lui-même ce que signifie se lever.
Autrement dit, un robot qui découvre qu'une action abstraite utile est celle qui remplit les conditions préalables (en se levant) pour marcher, courir, serrer des mains ou regarder par-dessus un mur, et qui fait donc partie de nombreux plans abstraits pour toutes sortes d'objectifs.
De même, nous voulons que les robots découvrent des comportements comme se déplacer d'un endroit à un autre, ramasser des objets, ouvrir des portes, faire des nœuds, cuisiner, retrouver mes clés et construire des maisons, ainsi que de nombreux autres comportements que nous, les humains, n'avons pas encore découverts et qui, par conséquent, n'ont pas de nom dans aucune langue humaine.
Je considère cette capacité comme l'étape la plus importante vers la réalisation d'une IA de niveau humain.
--- pp.136-137
Quiconque plaide pour l'arrêt de la recherche en IA devra présenter des arguments convaincants. Mettre fin à la recherche en IA signifierait non seulement abandonner l'une des voies essentielles pour comprendre le fonctionnement de l'intelligence humaine, mais aussi une occasion unique d'améliorer la condition humaine et de créer une civilisation considérablement plus avancée.
La valeur économique d'une IA de niveau humain pourrait atteindre des billions de dollars ; les incitations pour les entreprises et les gouvernements à poursuivre des recherches en IA seront donc probablement énormes.
Cette puissance l'emportera sur les objections vagues du philosophe, quelle que soit sa « réputation d'expert », pour reprendre l'expression de Butler.
--- pp.200-201
Si cet objectif entre en conflit avec les préférences humaines, nous nous retrouvons dans une situation identique à celle du scénario du film 2001 : L'Odyssée de l'espace.
Dans le film, l'ordinateur HAL 9000 tue quatre des cinq membres d'équipage à bord du vaisseau spatial pour les empêcher d'interférer avec sa mission.
...
La troisième des trois lois de la robotique d'Isaac Asimov, qui commence par « Un robot doit assurer sa propre sécurité », est en réalité totalement inutile.
L'instinct de survie est un objectif instrumental, il n'est donc pas nécessaire de le mettre en scène.
Les objectifs instrumentaux sont des sous-objectifs utiles pour atteindre presque n'importe quel objectif initial.
Tout être doté d'un but précis agira automatiquement comme s'il poursuivait également un objectif instrumental.
--- pp.208-209
Le lecteur pourrait penser que les penseurs les plus éminents d'aujourd'hui se penchent déjà sur cette question.
Autrement dit, nous allons engager un débat sérieux, évaluer les risques et les avantages, rechercher des solutions et examiner les failles de ces solutions.
Mais à ma connaissance, ce n'est pas encore le cas.
--- p.216
Ceux qui soutiennent la technologie nient et dissimulent les risques, et lorsqu'ils évoquent ces risques, ils l'accusent de luddisme.
Les opposants sont convaincus que les risques sont insurmontables et que le problème est insoluble.
Dans une société férue de technologie, quiconque est trop honnête quant à ses problèmes est traité de traître.
C'est dommage, étant donné que la plupart des personnes capables de résoudre ces problèmes appartiennent souvent à la catégorie des férus de technologie.
Quiconque évoque la possibilité d'atténuer le problème en l'absence d'opposition technologique est également un traître.
Cela s'explique par le fait que la tribu ne tient pas compte des effets possibles de la technologie, mais la perçoit plutôt comme le mal incarné.
De cette manière, seuls les individus les plus extrémistes (les moins susceptibles d'écouter la voix de l'autre camp) de chaque tribu pourront s'exprimer.
--- pp.235-236
Comme nous l'avons déjà vu en abordant la question des objectifs instrumentaux, il importe peu que nous insufflions à l'IA des « émotions » ou des « désirs » tels que l'instinct de conservation, l'acquisition de ressources, la découverte de connaissances ou, à l'extrême, la domination mondiale.
Les machines finiront par éprouver de tels sentiments.
À titre d'objectif secondaire de la mission que nous avons inculquée, il en sera ainsi indépendamment du sexe.
Du point de vue d'une machine, la mort n'est pas une mauvaise chose en soi.
Il faut cependant éviter la mort.
Parce qu'il est difficile d'apporter du café quand on est mort.
--- p.244
L'impact que les chercheurs en IA peuvent avoir sur l'élaboration de politiques mondiales concernant l'IA est limité.
Nous pouvons suggérer des applications possibles qui apporteront des avantages économiques et sociaux.
Il peut également signaler d'éventuels abus, tels que la surveillance et les armes.
Il peut également nous renseigner sur les pistes de développement futures possibles et leurs implications.
Le plus important est sans doute de concevoir des systèmes d'IA dont l'innocuité et les bienfaits pour l'humanité soient avérés, dans la mesure du possible. Ce n'est qu'à cette condition qu'une réglementation générale de l'IA pourra être envisagée.
--- p.268
Le célèbre chercheur en sciences cognitives Steven Pinker propose une argumentation plus optimiste qu'Atkins.
Il estime qu’une « culture de sécurité sociétale élevée » permettra d’éliminer tous les risques sérieux liés à l’IA.
Par conséquent, prêter attention à de tels risques est inapproprié et contre-productif.
Même si l'on fait abstraction du fait que notre culture de l'hypersécurité a conduit à Tchernobyl, Fukushima et au réchauffement climatique galopant, l'argument de Steven Pinker passe complètement à côté du sujet.
Une culture de la sécurité se développe grâce à des personnes qui signalent les schémas de défaillance possibles et tentent de trouver des moyens de les empêcher de se produire.
(Et dans le domaine de l'IA, le modèle standard correspond précisément à ce type de défaillance.) Dire qu'il est inutile de signaler cette défaillance car la culture de la sécurité la corrigera de toute façon revient à dire qu'il est inutile d'appeler une ambulance lorsqu'on est témoin d'un délit de fuite, car quelqu'un l'appellera de toute façon.
--- p.314
Je propose donc qu'une machine bénéfique soit de ce type.
Une machine qui accomplit des actions permettant d'atteindre nos objectifs.
Puisque ces objectifs sont les nôtres et non ceux des machines, ces dernières devront en apprendre davantage sur ce que nous voulons vraiment en observant les choix que nous faisons et la manière dont nous les faisons.
Les machines conçues de cette manière suivront les humains.
Je vais demander la permission.
Lorsque les instructions ne sont pas claires, nous agirons avec prudence.
Je vais me laisser déconnecter.
--- p.361
Avec toute cette activité en cours, peut-on espérer de réels progrès vers le contrôle ? La réponse, peut-être surprenante, est oui.
Du moins, sur des points mineurs, c'est le cas.
De nombreux gouvernements à travers le monde disposent d'organes consultatifs qui les aident à élaborer des outils réglementaires.
Parmi eux, le groupe d'experts de haut niveau de l'Union européenne sur l'intelligence artificielle (AI HLEG) est probablement le plus connu.
Le consentement, les réglementations et les normes émergent également pour des questions telles que la protection de la vie privée des utilisateurs, l'échange de données et la prévention des préjugés raciaux.
Les gouvernements et les entreprises travaillent d'arrache-pied pour établir des règles concernant les voitures autonomes.
Ces règles comporteront inévitablement des éléments qui dépassent les frontières nationales. Il existe un consensus sur le fait que, pour être fiables, les systèmes d'IA doivent rendre leurs décisions explicables, et ce consensus est déjà partiellement mis en œuvre par le biais du RGPD de l'Union européenne.
En Californie, une nouvelle loi a été adoptée qui empêche les systèmes d'IA de remplacer les humains dans certaines situations.
Ces deux questions — l’explicabilité et l’anthropomorphisme — sont clairement pertinentes au regard des problématiques actuelles de sécurité et de gouvernance de l’IA.
À l'heure actuelle, aucune recommandation concrète n'est disponible pour les gouvernements ou autres organismes confrontés au problème du maintien du contrôle sur les systèmes d'IA.
Les dispositions légales telles que « les systèmes d'IA doivent être sûrs et contrôlables » n'auront aucune valeur.
Non seulement ces termes n'ont pas encore de signification précise, mais il n'existe pas de méthodologies d'ingénierie largement acceptées pour garantir la sécurité et la contrôlabilité.
Nous ne savons pratiquement rien de la conscience, je préfère donc ne rien dire. Personne dans le domaine de l'IA ne mène de recherches sur la conscience des machines, et personne ne sait par où commencer. Aucun comportement ne présuppose la conscience.
--- pp.36-37
Se focaliser uniquement sur la puissance de calcul brute est une erreur fondamentale. L'IA ne se résume pas à la seule vitesse.
Exécuter un algorithme mal conçu sur un ordinateur plus rapide ne le rend pas meilleur.
Cela vous amène simplement plus rapidement à la mauvaise réponse.
(Et plus il y a de données, plus le risque d'obtenir une mauvaise réponse est grand !) Le principal avantage des machines plus rapides est qu'elles permettent de réduire la durée des expériences, ce qui accélère les progrès de la recherche. Ce n'est pas le matériel qui freine l'IA.
C'est un logiciel.
Nous ne savons pas encore comment rendre les machines véritablement intelligentes.
Même si la machine était aussi grande que l'univers, ce serait la même chose.
--- p.65
Lorsque AlphaGo a vaincu Lee Sedol puis tous les autres meilleurs joueurs de go, beaucoup ont pensé que cela marquait le début de la fin, puisqu'une machine qui avait appris le jeu à partir de zéro avait battu l'humanité dans un jeu réputé extrêmement difficile, même pour les personnes les plus intelligentes.
Autrement dit, ce n'était qu'une question de temps avant que l'IA ne domine les humains.
Quand AlphaZero a gagné non seulement au Go mais aussi aux échecs et au janggi, même certains sceptiques ont pu finir par croire à ce point de vue.
Cependant, AlphaZero présente des limitations évidentes.
Cela ne fonctionne que pour le type de jeu à deux joueurs discontinu, observable et dont les règles sont connues.
Cette approche ne fonctionnera jamais pour conduire, éduquer, gouverner ou conquérir le monde.
--- p.80
Et c'est pourquoi Google est malheureusement confronté au problème du gorille.
En 2015, une ingénieure logiciel nommée Jackie Alcine s'est plainte sur Twitter que le service de classification de photos de Google Photos l'avait étiquetée, elle et ses amis, comme des gorilles.
On ignore précisément comment cette erreur s'est produite, mais il est presque certain que l'algorithme d'apprentissage automatique de Google a été conçu pour minimiser une fonction de perte dont les valeurs étaient explicitement spécifiées.
De plus, toutes les erreurs se seraient vu attribuer le même coût.
Autrement dit, nous supposerions que le coût d'une erreur de classification, c'est-à-dire le fait de classer une personne comme un gorille, est le même que celui d'une erreur de classification, c'est-à-dire le fait de classer un terrier de Norfolk comme un terrier de Norwich.
Comme l'ont clairement démontré les protestations publiques qui ont suivi, la véritable fonction de perte de Google (ou de ses utilisateurs) n'était pas de cet ordre.
--- p.97
Du point de vue des chercheurs en IA, la véritable percée a eu lieu 30 ou 40 ans avant que Deep Blue ne fasse irruption dans la conscience collective.
De même, les réseaux de neurones convolutifs profonds existaient et étaient mathématiquement bien compris depuis plus de 20 ans avant de faire la une des journaux.
Les avancées en matière d'IA que le public voit dans les médias — victoires historiques sur les humains, robots obtenant la citoyenneté saoudienne, etc. — n'ont que peu de rapport avec ce qui se passe réellement dans les laboratoires du monde entier.
La recherche en laboratoire implique beaucoup de réflexion et de discussion, notamment l'écriture de formules mathématiques sur un tableau blanc.
De nouvelles idées émergent constamment, sont abandonnées, puis redécouvertes.
Parfois, on se rend compte qu'une bonne idée (une véritable innovation) est passée inaperçue à l'époque, pour ensuite réaliser qu'elle a jeté les bases de progrès significatifs dans le domaine de l'IA.
Cela arrive parfois lorsqu'une personne le redécouvre à un moment plus opportun.
--- p.101
Les problèmes liés à la perception tactile et à la configuration de la main semblent susceptibles d'être résolus par l'impression 3D.
Boston Dynamics utilise déjà cette technologie dans certaines parties complexes de son robot humanoïde, Atlas.
La technologie de fabrication robotisée progresse rapidement, notamment grâce à l'apprentissage par renforcement profond.
L'avancée ultime — la mise en œuvre de tous ces éléments pour créer quelque chose qui commence même à ressembler aux merveilleuses capacités physiques des robots dans les films — viendra probablement du secteur des entrepôts, un secteur pourtant peu romantique.
Amazon emploie à elle seule des centaines de milliers de personnes qui retirent les produits des bacs de ses immenses entrepôts, les emballent et les expédient aux clients.
De 2015 à 2017, Amazon a organisé un concours annuel de préparation de commandes afin d'encourager le développement de robots capables d'effectuer cette tâche.
Bien qu'il reste encore beaucoup de chemin à parcourir, nous pouvons nous attendre à voir l'émergence rapide de robots très performants une fois que les questions de recherche clés seront résolues (peut-être au cours de la prochaine décennie).
--- p.115
Ce que nous voulons, c'est un robot qui découvre par lui-même ce que signifie se lever.
Autrement dit, un robot qui découvre qu'une action abstraite utile est celle qui remplit les conditions préalables (en se levant) pour marcher, courir, serrer des mains ou regarder par-dessus un mur, et qui fait donc partie de nombreux plans abstraits pour toutes sortes d'objectifs.
De même, nous voulons que les robots découvrent des comportements comme se déplacer d'un endroit à un autre, ramasser des objets, ouvrir des portes, faire des nœuds, cuisiner, retrouver mes clés et construire des maisons, ainsi que de nombreux autres comportements que nous, les humains, n'avons pas encore découverts et qui, par conséquent, n'ont pas de nom dans aucune langue humaine.
Je considère cette capacité comme l'étape la plus importante vers la réalisation d'une IA de niveau humain.
--- pp.136-137
Quiconque plaide pour l'arrêt de la recherche en IA devra présenter des arguments convaincants. Mettre fin à la recherche en IA signifierait non seulement abandonner l'une des voies essentielles pour comprendre le fonctionnement de l'intelligence humaine, mais aussi une occasion unique d'améliorer la condition humaine et de créer une civilisation considérablement plus avancée.
La valeur économique d'une IA de niveau humain pourrait atteindre des billions de dollars ; les incitations pour les entreprises et les gouvernements à poursuivre des recherches en IA seront donc probablement énormes.
Cette puissance l'emportera sur les objections vagues du philosophe, quelle que soit sa « réputation d'expert », pour reprendre l'expression de Butler.
--- pp.200-201
Si cet objectif entre en conflit avec les préférences humaines, nous nous retrouvons dans une situation identique à celle du scénario du film 2001 : L'Odyssée de l'espace.
Dans le film, l'ordinateur HAL 9000 tue quatre des cinq membres d'équipage à bord du vaisseau spatial pour les empêcher d'interférer avec sa mission.
...
La troisième des trois lois de la robotique d'Isaac Asimov, qui commence par « Un robot doit assurer sa propre sécurité », est en réalité totalement inutile.
L'instinct de survie est un objectif instrumental, il n'est donc pas nécessaire de le mettre en scène.
Les objectifs instrumentaux sont des sous-objectifs utiles pour atteindre presque n'importe quel objectif initial.
Tout être doté d'un but précis agira automatiquement comme s'il poursuivait également un objectif instrumental.
--- pp.208-209
Le lecteur pourrait penser que les penseurs les plus éminents d'aujourd'hui se penchent déjà sur cette question.
Autrement dit, nous allons engager un débat sérieux, évaluer les risques et les avantages, rechercher des solutions et examiner les failles de ces solutions.
Mais à ma connaissance, ce n'est pas encore le cas.
--- p.216
Ceux qui soutiennent la technologie nient et dissimulent les risques, et lorsqu'ils évoquent ces risques, ils l'accusent de luddisme.
Les opposants sont convaincus que les risques sont insurmontables et que le problème est insoluble.
Dans une société férue de technologie, quiconque est trop honnête quant à ses problèmes est traité de traître.
C'est dommage, étant donné que la plupart des personnes capables de résoudre ces problèmes appartiennent souvent à la catégorie des férus de technologie.
Quiconque évoque la possibilité d'atténuer le problème en l'absence d'opposition technologique est également un traître.
Cela s'explique par le fait que la tribu ne tient pas compte des effets possibles de la technologie, mais la perçoit plutôt comme le mal incarné.
De cette manière, seuls les individus les plus extrémistes (les moins susceptibles d'écouter la voix de l'autre camp) de chaque tribu pourront s'exprimer.
--- pp.235-236
Comme nous l'avons déjà vu en abordant la question des objectifs instrumentaux, il importe peu que nous insufflions à l'IA des « émotions » ou des « désirs » tels que l'instinct de conservation, l'acquisition de ressources, la découverte de connaissances ou, à l'extrême, la domination mondiale.
Les machines finiront par éprouver de tels sentiments.
À titre d'objectif secondaire de la mission que nous avons inculquée, il en sera ainsi indépendamment du sexe.
Du point de vue d'une machine, la mort n'est pas une mauvaise chose en soi.
Il faut cependant éviter la mort.
Parce qu'il est difficile d'apporter du café quand on est mort.
--- p.244
L'impact que les chercheurs en IA peuvent avoir sur l'élaboration de politiques mondiales concernant l'IA est limité.
Nous pouvons suggérer des applications possibles qui apporteront des avantages économiques et sociaux.
Il peut également signaler d'éventuels abus, tels que la surveillance et les armes.
Il peut également nous renseigner sur les pistes de développement futures possibles et leurs implications.
Le plus important est sans doute de concevoir des systèmes d'IA dont l'innocuité et les bienfaits pour l'humanité soient avérés, dans la mesure du possible. Ce n'est qu'à cette condition qu'une réglementation générale de l'IA pourra être envisagée.
--- p.268
Le célèbre chercheur en sciences cognitives Steven Pinker propose une argumentation plus optimiste qu'Atkins.
Il estime qu’une « culture de sécurité sociétale élevée » permettra d’éliminer tous les risques sérieux liés à l’IA.
Par conséquent, prêter attention à de tels risques est inapproprié et contre-productif.
Même si l'on fait abstraction du fait que notre culture de l'hypersécurité a conduit à Tchernobyl, Fukushima et au réchauffement climatique galopant, l'argument de Steven Pinker passe complètement à côté du sujet.
Une culture de la sécurité se développe grâce à des personnes qui signalent les schémas de défaillance possibles et tentent de trouver des moyens de les empêcher de se produire.
(Et dans le domaine de l'IA, le modèle standard correspond précisément à ce type de défaillance.) Dire qu'il est inutile de signaler cette défaillance car la culture de la sécurité la corrigera de toute façon revient à dire qu'il est inutile d'appeler une ambulance lorsqu'on est témoin d'un délit de fuite, car quelqu'un l'appellera de toute façon.
--- p.314
Je propose donc qu'une machine bénéfique soit de ce type.
Une machine qui accomplit des actions permettant d'atteindre nos objectifs.
Puisque ces objectifs sont les nôtres et non ceux des machines, ces dernières devront en apprendre davantage sur ce que nous voulons vraiment en observant les choix que nous faisons et la manière dont nous les faisons.
Les machines conçues de cette manière suivront les humains.
Je vais demander la permission.
Lorsque les instructions ne sont pas claires, nous agirons avec prudence.
Je vais me laisser déconnecter.
--- p.361
Avec toute cette activité en cours, peut-on espérer de réels progrès vers le contrôle ? La réponse, peut-être surprenante, est oui.
Du moins, sur des points mineurs, c'est le cas.
De nombreux gouvernements à travers le monde disposent d'organes consultatifs qui les aident à élaborer des outils réglementaires.
Parmi eux, le groupe d'experts de haut niveau de l'Union européenne sur l'intelligence artificielle (AI HLEG) est probablement le plus connu.
Le consentement, les réglementations et les normes émergent également pour des questions telles que la protection de la vie privée des utilisateurs, l'échange de données et la prévention des préjugés raciaux.
Les gouvernements et les entreprises travaillent d'arrache-pied pour établir des règles concernant les voitures autonomes.
Ces règles comporteront inévitablement des éléments qui dépassent les frontières nationales. Il existe un consensus sur le fait que, pour être fiables, les systèmes d'IA doivent rendre leurs décisions explicables, et ce consensus est déjà partiellement mis en œuvre par le biais du RGPD de l'Union européenne.
En Californie, une nouvelle loi a été adoptée qui empêche les systèmes d'IA de remplacer les humains dans certaines situations.
Ces deux questions — l’explicabilité et l’anthropomorphisme — sont clairement pertinentes au regard des problématiques actuelles de sécurité et de gouvernance de l’IA.
À l'heure actuelle, aucune recommandation concrète n'est disponible pour les gouvernements ou autres organismes confrontés au problème du maintien du contrôle sur les systèmes d'IA.
Les dispositions légales telles que « les systèmes d'IA doivent être sûrs et contrôlables » n'auront aucune valeur.
Non seulement ces termes n'ont pas encore de signification précise, mais il n'existe pas de méthodologies d'ingénierie largement acceptées pour garantir la sécurité et la contrôlabilité.
--- pp.366-367
Avis de l'éditeur
« Le livre le plus important que j’aie lu ces derniers temps » – Daniel Kahneman
« Une solution robuste et prometteuse aux dangers de l'IA » - Max Tegmark
« Le livre le plus important de l'année sur l'IA » – The Guardian
Numéro 1 sur Amazon dans la catégorie IA/Robotique / Meilleurs livres sur la technologie selon le Financial Times et Forbes
« L’IA fait désormais la une des médias tous les jours. »
Stimulées par un afflux de capitaux-risqueurs, d'innombrables start-ups voient le jour.
Des millions d'étudiants suivent des cours d'IA et d'apprentissage automatique en ligne, et les professionnels de ces domaines perçoivent des salaires de plusieurs millions de dollars.
Des centaines de milliards de dollars sont investis chaque année par des fonds de capital-risque, des gouvernements et de grandes entreprises.
Nous avons reçu plus d'argent ces cinq dernières années que depuis la création de ce secteur.
Les progrès déjà réalisés dans ce domaine, tels que les voitures autonomes et les assistants personnels, auront probablement un impact mondial considérable au cours de la prochaine décennie. Les retombées économiques et sociales de l'IA sont énormes et stimuleront davantage la recherche dans ce domaine. (p. 21)
Les recherches en intelligence artificielle attirent de plus en plus de monde et d'argent.
« Les États-Unis, la Chine, la France, le Royaume-Uni et l’Union européenne rivalisent pour annoncer qu’ils investiront des dizaines de milliards de dollars dans la recherche sur l’IA » (p. 267), et la situation en Corée n’est pas très différente.
On voit souvent des articles sur des entreprises qui se plaignent d'une pénurie de développeurs, ou sur des universités prestigieuses qui créent des écoles supérieures d'IA et qui travaillent dur pour recruter des professeurs talentueux.
Nous vivons un nouvel âge d'or pour la recherche en intelligence artificielle.
Où en est la recherche en IA ? Jusqu’où ira-t-elle ? Si une IA surpasse les humains, résoudra-t-elle les problèmes urgents de l’humanité et améliorera-t-elle instantanément la qualité de vie ? Ou menacera-t-elle la survie même de l’humanité, comme on le voit souvent au cinéma ? Le professeur Stuart Russell de l’UC Berkeley, auteur renommé du manuel de référence « Intelligence artificielle », compte parmi les voix les plus pertinentes sur les risques liés à l’IA.
En tant que chercheur de premier plan, expert dans ce domaine, j'ai longtemps réfléchi et exploré ce sujet, et dans « Comment créer une intelligence artificielle qui coexiste avec les humains », j'ai inclus une discussion large et profonde qui rend le problème du tramway trivial.
Au-delà de l'optimisme irresponsable et des visions dystopiques d'un avenir radieux pour l'IA, ce livre examine les défis posés par le développement de l'IA et les différentes positions sur l'IA superintelligente dans une perspective réaliste et large, proposant des orientations et des principes pour créer une IA qui profite à l'humanité, sur la base de preuves solides.
Cet ouvrage est indispensable pour comprendre le débat actuel sur l'IA, il sert de guide pour prévoir l'évolution future de cette technologie et pour comprendre son fonctionnement.
L’état actuel de l’IA, ses possibilités et ses risques, et les orientations d’un développement respectueux de l’humain
Un chef-d'œuvre du professeur Stuart Russell de l'UC Berkeley, une autorité reconnue en matière d'intelligence artificielle.
« La rencontre avec une intelligence bien supérieure à la nôtre serait le plus grand événement de l’histoire de l’humanité. »
« L’objectif de ce livre est d’expliquer pourquoi cela pourrait être le dernier événement de l’histoire de l’humanité, et ce que nous pouvons faire pour l’empêcher de se produire. » (p. 10)
L'intelligence artificielle du futur qui apparaît dans les romans de science-fiction, les films et l'imaginaire collectif est un être doté de capacités terrifiantes, un être qui menace non seulement l'emploi et les relations humaines, mais aussi la civilisation et la survie même de l'humanité.
Le conflit entre les humains et les machines est inévitable, et un avenir catastrophique attend l'humanité.
Mais Stuart Russell soutient qu'un tel scénario peut être évité.
Mais pour ce faire, nous devons repenser fondamentalement l'IA.
L'auteur commence par examiner le concept d'intelligence chez l'homme et la machine (chapitre 2), en analysant les progrès réalisés par l'IA dans des domaines allant des assistants personnels intelligents, des voitures autonomes et des robots domestiques aux capacités de détection à l'échelle mondiale, et en décrivant les percées qui doivent être réalisées avant l'émergence d'une IA générale de niveau humain.
Ainsi, nous examinerons ce qui deviendra possible dans divers secteurs, tels que le niveau de vie, l'éducation et la santé, lorsque l'intelligence artificielle à usage général émergera au-delà de l'intelligence artificielle spécialisée actuellement utilisée (Chapitre 3).
Bien sûr, à mesure que les capacités de l'intelligence artificielle se développent, des problèmes surgissent.
Ce chapitre aborde également les façons dont l'IA a déjà été mal utilisée par les humains, ainsi que les dangers à venir, de la surveillance et du contrôle comportemental que les entreprises et les États emploieront aux armes autonomes létales et à la suppression d'emplois (chapitre 4).
Lorsque l'intelligence artificielle superintelligente émergera, la relation entre l'intelligence artificielle et les humains sera similaire à la relation qui existe aujourd'hui entre les humains et les gorilles.
Russell appelle cela le « problème du gorille », qui est « plus précisément, la question de savoir si l’humanité peut maintenir sa supériorité et son autonomie dans un monde où existent des machines dotées d’une intelligence nettement supérieure » (pp. 196-197).
Dans les romans « Erewhon » et « Dune », un monde est dépeint où les machines sont interdites pour combattre les dangers qui menacent l'existence de l'humanité, mais dans la réalité d'aujourd'hui, il n'est pas facile d'interdire la recherche en intelligence artificielle générale.
Finalement, l’IA superintelligente accomplira « des choses que nous n’avions pas prévues » pour « réaliser les objectifs que nous lui avons fixés », et il sera impossible de la contrôler (Chapitre 5).
Le chapitre 6 examine le débat actuel sur les risques liés à l'IA.
De la négation de la possibilité d'une IA superintelligente à la qualification de luddites de ceux qui critiquent les risques de l'IA, en passant par l'argument selon lequel nous devrions éviter d'assigner aux machines des objectifs problématiques, ce livre examine de manière critique les positions et les arguments de personnalités importantes et influentes dans le domaine de l'IA, notamment des chercheurs, des philosophes, des penseurs et des entrepreneurs de premier plan.
On y retrouve des intellectuels de renom tels que Mark Zuckerberg de Facebook, Elon Musk de Tesla, Yann LeCun, pionnier de l'apprentissage profond, Eren Etzioni, expert en apprentissage automatique et en recherche sur le langage naturel, Steven Pinker, scientifique cognitif de renom, et Nick Bostrom, philosophe de l'université d'Oxford.
Malheureusement, de l'avis de l'auteur, le débat actuel n'a pas lieu à un niveau suffisamment élevé pour refléter l'importance du problème.
La dernière partie du livre présente une nouvelle perspective sur l'IA et sur la façon dont nous pouvons nous assurer que les machines restent durablement utiles à l'humanité (chapitres 7 à 10).
Les utilitaristes Jeremy Bentham, John Stuart Mill et G.
Nous examinons comment l'intelligence artificielle pourrait répondre aux préférences humaines, en analysant les discussions de philosophes tels que E. Moore, Robert Nozick, Henry Sidgwick et Derek Parfit, et d'économistes allant d'Adam Smith à John Harsanyi.
L'essentiel est d'empêcher l'IA de savoir ce que nous préférons.
Nous demandons à l'IA de satisfaire nos préférences, mais l'idée est de concevoir des machines intrinsèquement incertaines quant aux préférences humaines.
La machine devient alors un être humble et altruiste, dévoué à la poursuite de nos objectifs plutôt que des siens.
Si nous bâtissons l'IA sur ces nouvelles bases, nous pourrons créer des machines qui nous respectent et nous sont utiles.
Les analyses macroscopiques pertinentes et les solutions uniques d'un chercheur en IA de premier plan.
Ce livre est particulièrement précieux car il a été écrit par un expert en IA, et non par un homme d'affaires, un philosophe ou un journaliste, mais avec une perspective pragmatique, globale et réaliste. Dans *Life 3.0*, le physicien du MIT Max Tegmark a souligné que les chercheurs traditionnels se concentrent sur le défi immédiat – rendre les systèmes d'IA en cours de développement plus intelligents – plutôt que de considérer les conséquences à long terme, et que même ceux qui le font hésitent généralement à s'exprimer sur ces questions.
À l'inverse, Stuart Russell étudie et intervient depuis un certain temps déjà sur la menace des armes autonomes, l'avenir à long terme de l'intelligence artificielle et sa relation avec l'humanité.
Il a été vice-président de la Commission sur l'IA et la robotique du Forum économique mondial et conseiller auprès du Groupe des Nations Unies sur les questions de désarmement. En 2016, il a fondé le Centre pour une IA compatible avec l'humain, un institut de recherche basé à l'Université de Californie à Berkeley qui collabore avec plusieurs universités et institutions et développe les outils conceptuels et techniques nécessaires pour réorienter la recherche en IA vers des systèmes d'IA dont les bienfaits sont avérés.
Il est quelque peu conservateur dans sa prédiction selon laquelle une intelligence artificielle superintelligente sera possible au cours de ce siècle, soit dans environ 80 ans, par rapport aux chercheurs traditionnels qui pensent qu'elle sera possible d'ici le milieu de ce siècle (p. 120).
Il soutient toutefois que si nous commençons à aborder ce problème lorsque la technologie devient visible, il sera déjà trop tard ; nous devons donc nous pencher immédiatement sur cette question et travailler ensemble pour trouver une solution au plus vite.
Et puisque « l’abandon de la recherche en IA est non seulement peu probable (car il faudrait renoncer à trop d’avantages), mais aussi extrêmement difficile à mettre en œuvre » (p. 213), je pense que changer la direction de la recherche est une alternative plus réaliste.
Du « modèle standard » aux « machines à l'efficacité prouvée »
En d'autres termes, Russell propose de passer du modèle standard de développement de l'intelligence artificielle — c'est-à-dire « construire une machine optimisante, lui donner un but, puis la faire fonctionner » — à la création de machines « prouvées bénéfiques » pour les humains.
En réalité, le modèle standard ne pose pas de problème lorsque la plage de fonctionnement est limitée.
Si vous injectez le mauvais élément, vous avez amplement la possibilité de l'arrêter, de corriger le problème et de réessayer.
Cependant, à mesure que l'intelligence des machines conçues selon le modèle standard augmente et que leur champ d'action devient plus global, cette approche devient non viable.
Car une telle machine poursuivra son but, aussi erroné soit-il.
Son approche se résume en trois principes : « 1.
La machine a pour seul but de maximiser la réalisation des préférences humaines.
2. La machine n'est initialement pas sûre de quelles sont ces préférences.
3. « La source ultime d’information sur les préférences humaines est le comportement humain » (p. 254), ce principe apparemment simple est soutenu par une logique solide.
« Je dirais que le modèle standard de l’IA — c’est-à-dire le modèle où les machines optimisent en fonction d’objectifs définis par les humains — est une sorte d’impasse. »
Le problème n'est pas que nous puissions échouer dans la construction de systèmes d'IA.
Nous pourrions connaître un immense succès.
Le problème, c’est que la définition même du succès dans le domaine de l’IA est erronée. (p. 32)
« L’incertitude quant à leur finalité implique que les machines doivent inévitablement suivre les humains. »
Autrement dit, la machine demandera l'autorisation, acceptera les modifications et s'autorisera à cesser de fonctionner.
Supprimer l'hypothèse selon laquelle les machines doivent avoir un but précis implique de remettre en question certains fondements de l'intelligence artificielle et de les remplacer par autre chose.
Voilà, en résumé, ce que nous essayons d'atteindre.
Cela signifie également qu'une part importante de cette superstructure (l'accumulation de concepts et de méthodes qui ont réellement servi à créer l'IA) devra être reconstruite.
Si nous agissons ainsi, les humains et les machines noueront une nouvelle relation. (pp. 28-29)
Un ouvrage qui alimente le débat social sur l'orientation du développement de l'intelligence artificielle.
Dans quelle mesure les principes qu'il a proposés trouvent-ils un écho et sont-ils appliqués dans la recherche actuelle ? Si, comme lui et de nombreux autres experts en IA le craignent, une IA superintelligente risque fort de mal fonctionner et d'avoir des conséquences importantes, alors cette responsabilité ne peut être laissée aux seules mains des entreprises et des chercheurs.
Il est temps que les développeurs et les citoyens se penchent collectivement sur cette technologie, qui a le potentiel d'avoir un impact profond sur l'avenir de l'humanité.
La perspective approfondie et globale de l'expert, son récit clair et ses suggestions à la fois prudentes et fermes constitueront un guide précieux pour nos lecteurs confrontés à des problématiques similaires.
« Le moment opportun pour s’inquiéter d’un problème susceptible de causer de graves conséquences pour l’humanité dépend non seulement du moment où le problème surviendra, mais aussi du temps nécessaire pour préparer et mettre en œuvre une solution. »
Si nous savions qu'un gros astéroïde devait percuter la Terre en 2069, dirions-nous qu'il est trop tôt pour s'inquiéter ? Bien au contraire ! Un plan d'urgence mondial serait élaboré afin de trouver un moyen de conjurer la menace.
« Nous n’attendrons pas 2068 pour trouver une solution » (p. 224).
Stuart Russell est l'un des plus grands experts dans le domaine de l'intelligence artificielle, et ce livre est une œuvre véritablement magistrale qui offre un aperçu à la fois faisant autorité et divertissant des risques liés à une IA de plus en plus puissante.
Russell estime que notre approche actuelle de la conception de machines intelligentes est fondamentalement erronée, et que si les rêves des fervents défenseurs de l'IA se concrétisent, ils pourraient mener à des conséquences véritablement dystopiques.
Il explique très bien comment nous en sommes arrivés là, et il présente également des arguments convaincants sur la façon dont nous pouvons éviter une superintelligence catastrophique et sur la façon dont nous pouvons nous assurer que les machines augmentent les capacités humaines plutôt que de les rendre inutiles.
_<Tuteur>
Un récit stimulant et accessible du passé, du présent et de l'avenir de l'IA.
L'analyse de Russell s'appuie sur des réalités technologiques concrètes, y compris leurs nombreuses limitations, et ne recourt pas au langage passionné de la science-fiction.
Si vous recherchez un ouvrage qui offre une vue d'ensemble sérieuse du sujet sans pour autant dédaigner les lecteurs non spécialistes, c'est un bon point de départ.
Son style d'écriture, à la fois rigoureux intellectuellement et concis, ainsi que son humour intelligent, le rendent facilement accessible au grand public.
_〈Financial Times〉
Un livre fascinant et important.
Russell ne met pas en garde contre les dangers des machines conscientes, mais contre la possibilité que des machines superintelligentes puissent être mal utilisées ou s'auto-utiliser à mauvais escient.
_〈The Times〉
Un livre intéressant qui approfondit le sujet.
L'esprit naturel brille.
_〈Le Wall Street Journal〉
« Une solution robuste et prometteuse aux dangers de l'IA » - Max Tegmark
« Le livre le plus important de l'année sur l'IA » – The Guardian
Numéro 1 sur Amazon dans la catégorie IA/Robotique / Meilleurs livres sur la technologie selon le Financial Times et Forbes
« L’IA fait désormais la une des médias tous les jours. »
Stimulées par un afflux de capitaux-risqueurs, d'innombrables start-ups voient le jour.
Des millions d'étudiants suivent des cours d'IA et d'apprentissage automatique en ligne, et les professionnels de ces domaines perçoivent des salaires de plusieurs millions de dollars.
Des centaines de milliards de dollars sont investis chaque année par des fonds de capital-risque, des gouvernements et de grandes entreprises.
Nous avons reçu plus d'argent ces cinq dernières années que depuis la création de ce secteur.
Les progrès déjà réalisés dans ce domaine, tels que les voitures autonomes et les assistants personnels, auront probablement un impact mondial considérable au cours de la prochaine décennie. Les retombées économiques et sociales de l'IA sont énormes et stimuleront davantage la recherche dans ce domaine. (p. 21)
Les recherches en intelligence artificielle attirent de plus en plus de monde et d'argent.
« Les États-Unis, la Chine, la France, le Royaume-Uni et l’Union européenne rivalisent pour annoncer qu’ils investiront des dizaines de milliards de dollars dans la recherche sur l’IA » (p. 267), et la situation en Corée n’est pas très différente.
On voit souvent des articles sur des entreprises qui se plaignent d'une pénurie de développeurs, ou sur des universités prestigieuses qui créent des écoles supérieures d'IA et qui travaillent dur pour recruter des professeurs talentueux.
Nous vivons un nouvel âge d'or pour la recherche en intelligence artificielle.
Où en est la recherche en IA ? Jusqu’où ira-t-elle ? Si une IA surpasse les humains, résoudra-t-elle les problèmes urgents de l’humanité et améliorera-t-elle instantanément la qualité de vie ? Ou menacera-t-elle la survie même de l’humanité, comme on le voit souvent au cinéma ? Le professeur Stuart Russell de l’UC Berkeley, auteur renommé du manuel de référence « Intelligence artificielle », compte parmi les voix les plus pertinentes sur les risques liés à l’IA.
En tant que chercheur de premier plan, expert dans ce domaine, j'ai longtemps réfléchi et exploré ce sujet, et dans « Comment créer une intelligence artificielle qui coexiste avec les humains », j'ai inclus une discussion large et profonde qui rend le problème du tramway trivial.
Au-delà de l'optimisme irresponsable et des visions dystopiques d'un avenir radieux pour l'IA, ce livre examine les défis posés par le développement de l'IA et les différentes positions sur l'IA superintelligente dans une perspective réaliste et large, proposant des orientations et des principes pour créer une IA qui profite à l'humanité, sur la base de preuves solides.
Cet ouvrage est indispensable pour comprendre le débat actuel sur l'IA, il sert de guide pour prévoir l'évolution future de cette technologie et pour comprendre son fonctionnement.
L’état actuel de l’IA, ses possibilités et ses risques, et les orientations d’un développement respectueux de l’humain
Un chef-d'œuvre du professeur Stuart Russell de l'UC Berkeley, une autorité reconnue en matière d'intelligence artificielle.
« La rencontre avec une intelligence bien supérieure à la nôtre serait le plus grand événement de l’histoire de l’humanité. »
« L’objectif de ce livre est d’expliquer pourquoi cela pourrait être le dernier événement de l’histoire de l’humanité, et ce que nous pouvons faire pour l’empêcher de se produire. » (p. 10)
L'intelligence artificielle du futur qui apparaît dans les romans de science-fiction, les films et l'imaginaire collectif est un être doté de capacités terrifiantes, un être qui menace non seulement l'emploi et les relations humaines, mais aussi la civilisation et la survie même de l'humanité.
Le conflit entre les humains et les machines est inévitable, et un avenir catastrophique attend l'humanité.
Mais Stuart Russell soutient qu'un tel scénario peut être évité.
Mais pour ce faire, nous devons repenser fondamentalement l'IA.
L'auteur commence par examiner le concept d'intelligence chez l'homme et la machine (chapitre 2), en analysant les progrès réalisés par l'IA dans des domaines allant des assistants personnels intelligents, des voitures autonomes et des robots domestiques aux capacités de détection à l'échelle mondiale, et en décrivant les percées qui doivent être réalisées avant l'émergence d'une IA générale de niveau humain.
Ainsi, nous examinerons ce qui deviendra possible dans divers secteurs, tels que le niveau de vie, l'éducation et la santé, lorsque l'intelligence artificielle à usage général émergera au-delà de l'intelligence artificielle spécialisée actuellement utilisée (Chapitre 3).
Bien sûr, à mesure que les capacités de l'intelligence artificielle se développent, des problèmes surgissent.
Ce chapitre aborde également les façons dont l'IA a déjà été mal utilisée par les humains, ainsi que les dangers à venir, de la surveillance et du contrôle comportemental que les entreprises et les États emploieront aux armes autonomes létales et à la suppression d'emplois (chapitre 4).
Lorsque l'intelligence artificielle superintelligente émergera, la relation entre l'intelligence artificielle et les humains sera similaire à la relation qui existe aujourd'hui entre les humains et les gorilles.
Russell appelle cela le « problème du gorille », qui est « plus précisément, la question de savoir si l’humanité peut maintenir sa supériorité et son autonomie dans un monde où existent des machines dotées d’une intelligence nettement supérieure » (pp. 196-197).
Dans les romans « Erewhon » et « Dune », un monde est dépeint où les machines sont interdites pour combattre les dangers qui menacent l'existence de l'humanité, mais dans la réalité d'aujourd'hui, il n'est pas facile d'interdire la recherche en intelligence artificielle générale.
Finalement, l’IA superintelligente accomplira « des choses que nous n’avions pas prévues » pour « réaliser les objectifs que nous lui avons fixés », et il sera impossible de la contrôler (Chapitre 5).
Le chapitre 6 examine le débat actuel sur les risques liés à l'IA.
De la négation de la possibilité d'une IA superintelligente à la qualification de luddites de ceux qui critiquent les risques de l'IA, en passant par l'argument selon lequel nous devrions éviter d'assigner aux machines des objectifs problématiques, ce livre examine de manière critique les positions et les arguments de personnalités importantes et influentes dans le domaine de l'IA, notamment des chercheurs, des philosophes, des penseurs et des entrepreneurs de premier plan.
On y retrouve des intellectuels de renom tels que Mark Zuckerberg de Facebook, Elon Musk de Tesla, Yann LeCun, pionnier de l'apprentissage profond, Eren Etzioni, expert en apprentissage automatique et en recherche sur le langage naturel, Steven Pinker, scientifique cognitif de renom, et Nick Bostrom, philosophe de l'université d'Oxford.
Malheureusement, de l'avis de l'auteur, le débat actuel n'a pas lieu à un niveau suffisamment élevé pour refléter l'importance du problème.
La dernière partie du livre présente une nouvelle perspective sur l'IA et sur la façon dont nous pouvons nous assurer que les machines restent durablement utiles à l'humanité (chapitres 7 à 10).
Les utilitaristes Jeremy Bentham, John Stuart Mill et G.
Nous examinons comment l'intelligence artificielle pourrait répondre aux préférences humaines, en analysant les discussions de philosophes tels que E. Moore, Robert Nozick, Henry Sidgwick et Derek Parfit, et d'économistes allant d'Adam Smith à John Harsanyi.
L'essentiel est d'empêcher l'IA de savoir ce que nous préférons.
Nous demandons à l'IA de satisfaire nos préférences, mais l'idée est de concevoir des machines intrinsèquement incertaines quant aux préférences humaines.
La machine devient alors un être humble et altruiste, dévoué à la poursuite de nos objectifs plutôt que des siens.
Si nous bâtissons l'IA sur ces nouvelles bases, nous pourrons créer des machines qui nous respectent et nous sont utiles.
Les analyses macroscopiques pertinentes et les solutions uniques d'un chercheur en IA de premier plan.
Ce livre est particulièrement précieux car il a été écrit par un expert en IA, et non par un homme d'affaires, un philosophe ou un journaliste, mais avec une perspective pragmatique, globale et réaliste. Dans *Life 3.0*, le physicien du MIT Max Tegmark a souligné que les chercheurs traditionnels se concentrent sur le défi immédiat – rendre les systèmes d'IA en cours de développement plus intelligents – plutôt que de considérer les conséquences à long terme, et que même ceux qui le font hésitent généralement à s'exprimer sur ces questions.
À l'inverse, Stuart Russell étudie et intervient depuis un certain temps déjà sur la menace des armes autonomes, l'avenir à long terme de l'intelligence artificielle et sa relation avec l'humanité.
Il a été vice-président de la Commission sur l'IA et la robotique du Forum économique mondial et conseiller auprès du Groupe des Nations Unies sur les questions de désarmement. En 2016, il a fondé le Centre pour une IA compatible avec l'humain, un institut de recherche basé à l'Université de Californie à Berkeley qui collabore avec plusieurs universités et institutions et développe les outils conceptuels et techniques nécessaires pour réorienter la recherche en IA vers des systèmes d'IA dont les bienfaits sont avérés.
Il est quelque peu conservateur dans sa prédiction selon laquelle une intelligence artificielle superintelligente sera possible au cours de ce siècle, soit dans environ 80 ans, par rapport aux chercheurs traditionnels qui pensent qu'elle sera possible d'ici le milieu de ce siècle (p. 120).
Il soutient toutefois que si nous commençons à aborder ce problème lorsque la technologie devient visible, il sera déjà trop tard ; nous devons donc nous pencher immédiatement sur cette question et travailler ensemble pour trouver une solution au plus vite.
Et puisque « l’abandon de la recherche en IA est non seulement peu probable (car il faudrait renoncer à trop d’avantages), mais aussi extrêmement difficile à mettre en œuvre » (p. 213), je pense que changer la direction de la recherche est une alternative plus réaliste.
Du « modèle standard » aux « machines à l'efficacité prouvée »
En d'autres termes, Russell propose de passer du modèle standard de développement de l'intelligence artificielle — c'est-à-dire « construire une machine optimisante, lui donner un but, puis la faire fonctionner » — à la création de machines « prouvées bénéfiques » pour les humains.
En réalité, le modèle standard ne pose pas de problème lorsque la plage de fonctionnement est limitée.
Si vous injectez le mauvais élément, vous avez amplement la possibilité de l'arrêter, de corriger le problème et de réessayer.
Cependant, à mesure que l'intelligence des machines conçues selon le modèle standard augmente et que leur champ d'action devient plus global, cette approche devient non viable.
Car une telle machine poursuivra son but, aussi erroné soit-il.
Son approche se résume en trois principes : « 1.
La machine a pour seul but de maximiser la réalisation des préférences humaines.
2. La machine n'est initialement pas sûre de quelles sont ces préférences.
3. « La source ultime d’information sur les préférences humaines est le comportement humain » (p. 254), ce principe apparemment simple est soutenu par une logique solide.
« Je dirais que le modèle standard de l’IA — c’est-à-dire le modèle où les machines optimisent en fonction d’objectifs définis par les humains — est une sorte d’impasse. »
Le problème n'est pas que nous puissions échouer dans la construction de systèmes d'IA.
Nous pourrions connaître un immense succès.
Le problème, c’est que la définition même du succès dans le domaine de l’IA est erronée. (p. 32)
« L’incertitude quant à leur finalité implique que les machines doivent inévitablement suivre les humains. »
Autrement dit, la machine demandera l'autorisation, acceptera les modifications et s'autorisera à cesser de fonctionner.
Supprimer l'hypothèse selon laquelle les machines doivent avoir un but précis implique de remettre en question certains fondements de l'intelligence artificielle et de les remplacer par autre chose.
Voilà, en résumé, ce que nous essayons d'atteindre.
Cela signifie également qu'une part importante de cette superstructure (l'accumulation de concepts et de méthodes qui ont réellement servi à créer l'IA) devra être reconstruite.
Si nous agissons ainsi, les humains et les machines noueront une nouvelle relation. (pp. 28-29)
Un ouvrage qui alimente le débat social sur l'orientation du développement de l'intelligence artificielle.
Dans quelle mesure les principes qu'il a proposés trouvent-ils un écho et sont-ils appliqués dans la recherche actuelle ? Si, comme lui et de nombreux autres experts en IA le craignent, une IA superintelligente risque fort de mal fonctionner et d'avoir des conséquences importantes, alors cette responsabilité ne peut être laissée aux seules mains des entreprises et des chercheurs.
Il est temps que les développeurs et les citoyens se penchent collectivement sur cette technologie, qui a le potentiel d'avoir un impact profond sur l'avenir de l'humanité.
La perspective approfondie et globale de l'expert, son récit clair et ses suggestions à la fois prudentes et fermes constitueront un guide précieux pour nos lecteurs confrontés à des problématiques similaires.
« Le moment opportun pour s’inquiéter d’un problème susceptible de causer de graves conséquences pour l’humanité dépend non seulement du moment où le problème surviendra, mais aussi du temps nécessaire pour préparer et mettre en œuvre une solution. »
Si nous savions qu'un gros astéroïde devait percuter la Terre en 2069, dirions-nous qu'il est trop tôt pour s'inquiéter ? Bien au contraire ! Un plan d'urgence mondial serait élaboré afin de trouver un moyen de conjurer la menace.
« Nous n’attendrons pas 2068 pour trouver une solution » (p. 224).
Stuart Russell est l'un des plus grands experts dans le domaine de l'intelligence artificielle, et ce livre est une œuvre véritablement magistrale qui offre un aperçu à la fois faisant autorité et divertissant des risques liés à une IA de plus en plus puissante.
Russell estime que notre approche actuelle de la conception de machines intelligentes est fondamentalement erronée, et que si les rêves des fervents défenseurs de l'IA se concrétisent, ils pourraient mener à des conséquences véritablement dystopiques.
Il explique très bien comment nous en sommes arrivés là, et il présente également des arguments convaincants sur la façon dont nous pouvons éviter une superintelligence catastrophique et sur la façon dont nous pouvons nous assurer que les machines augmentent les capacités humaines plutôt que de les rendre inutiles.
_<Tuteur>
Un récit stimulant et accessible du passé, du présent et de l'avenir de l'IA.
L'analyse de Russell s'appuie sur des réalités technologiques concrètes, y compris leurs nombreuses limitations, et ne recourt pas au langage passionné de la science-fiction.
Si vous recherchez un ouvrage qui offre une vue d'ensemble sérieuse du sujet sans pour autant dédaigner les lecteurs non spécialistes, c'est un bon point de départ.
Son style d'écriture, à la fois rigoureux intellectuellement et concis, ainsi que son humour intelligent, le rendent facilement accessible au grand public.
_〈Financial Times〉
Un livre fascinant et important.
Russell ne met pas en garde contre les dangers des machines conscientes, mais contre la possibilité que des machines superintelligentes puissent être mal utilisées ou s'auto-utiliser à mauvais escient.
_〈The Times〉
Un livre intéressant qui approfondit le sujet.
L'esprit naturel brille.
_〈Le Wall Street Journal〉
SPÉCIFICATIONS DES PRODUITS
- Date de publication : 30 juin 2021
Nombre de pages, poids, dimensions : 488 pages | 712 g | 152 × 225 × 23 mm
- ISBN13 : 9788934988434
- ISBN10 : 8934988436
Vous aimerez peut-être aussi
카테고리
Langue coréenne
Langue coréenne
![ELLE 엘르 스페셜 에디션 A형 : 12월 [2025]](http://librairie.coreenne.fr/cdn/shop/files/b8e27a3de6c9538896439686c6b0e8fb.jpg?v=1766436872&width=3840)
