Chapitre 1 : Un monde jugé par l'intelligence artificielle

Partie 1 : Comment les machines prennent des décisions
Chapitre 2 : Discrimination sexuelle dans les algorithmes
Chapitre 3 : Les bases de l’informatique
Chapitre 4 Comment les machines apprennent-elles à évaluer la solvabilité ?
Algorithmes, heuristiques et modèles
Résumé du chapitre 5, partie 1

Partie 2 : Les problèmes créés par l'intelligence artificielle
Chapitre 6 : Incapacité à reconnaître le visage
Chapitre 7 : L'homme injustement arrêté
Chapitre 8 Pourquoi ne puis-je pas trouver ma maison ?
Chapitre 9 Où est passé mon argent ?
Chapitre 10 : Comment détecter la dépression sur Instagram
Chapitre 11 : Pourquoi Chatzypt a-t-il fait de moi le bras droit d'Hitler ?
Chapitre 12 Pourquoi Elaine Hertzberg a-t-elle dû mourir ?
Résumé du chapitre 13, partie 2

Partie 3 : Quand vous avez besoin de savoir pourquoi cela s’est produit
Chapitre 14 Décisions vérifiables et non vérifiables
Chapitre 15 : Quand un acte de langage est-il réussi ?
Chapitre 16 : Un ordinateur peut-il noter mes écrits ?
Chapitre 17 : Pourquoi votre compte a-t-il été soudainement suspendu ?
Chapitre 18 : Suis-je un terroriste ?
Chapitre 19 : L’intelligence artificielle et l’apprentissage des « procédures générales »
Chapitre 20 : Les jugements de valeur peuvent-ils être automatisés ?
Résumé du chapitre 21, partie 3

Partie 4 : Comment allons-nous prendre nos décisions à l'avenir ?
Chapitre 22 : Quels sont les avantages de l’utilisation de systèmes automatisés de prise de décision ?
Chapitre 23 : Quand puis-je utiliser mon algorithme ?
Chapitre 24 Hans le Malin, comment fais-tu ça ?
Chapitre 25 : Il est important de soulever des objections
Résumé du chapitre 26, partie 4

principal

☆Auteur à succès allemand Der Spiegel☆

Cas où des erreurs mineures dans l'IA peuvent entraîner des menaces mortelles

- Pourquoi la limite de ma carte est-elle telle ?
« Nous ne faisons aucune discrimination envers qui que ce soit ! »
« L’algorithme a simplement décidé ça ! »
La défense ci-dessus des employés d'Apple et de Goldman Sachs est la réponse que David Hanson, qui apparaît dans ce livre, a reçue lorsqu'il a demandé une explication concernant la carte Apple qu'il avait demandée simultanément avec sa femme Jamie via des appareils Apple, dont la limite était de 1 000 $ alors que celle de sa femme n'était que de 50 $.
Bien que Jamie fût millionnaire et ait une meilleure cote de crédit que son mari David, ses limites de carte de crédit étaient 20 fois supérieures.
Lorsque nous avons soulevé la question, Apple et Goldman Sachs, qui émet des cartes en coopération avec Apple, ont unanimement répondu que c'était « à cause de l'IA ».
N'est-ce pas une réponse bien insuffisante pour une grande entreprise qui gère l'argent et le crédit d'innombrables personnes ?
Finalement, David s'est demandé si l'algorithme choisissait de « discriminer l'IA en fonction du sexe ».
Mais plus David approfondit la question, plus l'expérience devient déconcertante.
« Il n'existe aucun moyen de savoir précisément quelles données ont été saisies dans l'algorithme, ni si des informations erronées ont été introduites lors du processus. » Autrement dit, personne ne peut expliquer exactement comment l'IA prend des décisions lorsqu'une personne saisit ses données, ni quelles différences entraînent des limites de crédit différentes.
C’est compréhensible, puisque personne ne savait exactement ce qui se passait à l’intérieur de l’IA après la saisie des données.
En fin de compte, c'était la raison fondamentale pour laquelle les gens ne pouvaient pas fournir d'explication claire, mais se contentaient de répéter en boucle : « C'est à cause de l'IA. »

- L'homme identifié par l'IA comme le coupable
« Ce n'est pas moi. »
« Mais l’ordinateur dit que c’est vous. »
Voici l'histoire de Robert Williams, arrêté à tort suite à un malentendu avec l'IA.
La raison était qu'il avait volé une montre, et les images floues de la caméra de surveillance sur les lieux ont servi de base à cette accusation.
La vidéo montrait le profil de l'agresseur, un homme grand et noir, et il était difficile de déterminer s'il avait simplement la peau foncée. Sur la base de cette vidéo, Williams, un homme noir de forte corpulence, a été arrêté.
Malgré un alibi irréfutable, sa demande de reconnaissance de culpabilité a été rejetée et il a finalement été libéré après 30 heures de détention.
Williams a par la suite porté plainte contre la police, et ce que cette plainte a révélé était choquant.
Peu importe les données saisies dans le logiciel, une personne était systématiquement désignée comme « la plus similaire », ce qui signifiait que le coupable figurait forcément parmi les individus inclus ! Cette technologie, censée identifier les criminels car on supposait qu'elle prendrait en compte toutes les possibilités, était en réalité programmée pour piéger des personnes vivantes, sans possibilité d'exclure un coupable.
Outre les limitations inhérentes à la programmation, cette situation est aggravée par le fait que, malgré le déploiement de ces technologies sur le terrain, aucune formation n'a été dispensée aux utilisateurs sur la manière de manipuler les logiciels qui en résultent.
Même s'il existait des directives stipulant que les résultats de ce programme ne pouvaient être considérés que comme des indices dans le cadre d'une enquête et n'avaient aucune valeur probante.
Comment un incident aussi absurde, une affaire cruciale susceptible de faire passer un citoyen exemplaire pour un criminel, a-t-il pu se produire ? Serait-ce finalement dû à l’IA ?

- Premier décès dans une voiture autonome
« Pourquoi dans le monde d’Uber ? »
« Est-ce que tous les piétons traversent la rue uniquement aux passages piétons officiels ? »
Prenons l'exemple d'Elaine Hertzberg, la première piétonne tuée par une voiture autonome.
C’est un parfait exemple de ce qui peut arriver lorsque des systèmes de prise de décision automatisés sont utilisés dans des systèmes incroyablement complexes comme les automobiles modernes, et c’est aussi un signal d’alarme quant à l’importance des décisions de modélisation, même les plus infimes, prises par les équipes de développement.

Un véhicule Uber dernier cri, équipé de bien plus de capteurs qu'une voiture ordinaire et capable de réagir beaucoup plus vite qu'un être humain, percute une femme qui rentrait chez elle à vélo tard dans la nuit.
Même le véhicule avait un opérateur humain à bord dans le cadre d'un système de « contrôle humain » permettant aux humains de superviser la machine et d'intervenir immédiatement en cas de problème.

Le système du véhicule mesure la vitesse de l'objet et sa direction de mouvement prévue afin de prédire sa trajectoire.
Selon le rapport, pour les vélos et les voitures, la « cible » naturelle était de se déplacer dans la direction de la voie lors de la première prédiction de trajectoire.
Autrement dit, les machines, les voitures et les vélos circulent sur la route, ils ne la « traversent » pas.
Pour les piétons, un tel objectif n'existait pas en l'absence de passage piéton.
Autrement dit, la machine n'avait pas la possibilité d'être un « piéton qui traverse hors des passages piétons ».
Ce choix de modélisation a rendu impossible pour le système du véhicule de prendre en compte un piéton traversant la route à un point quelconque.
Que faisait donc le conducteur à l'intérieur du véhicule ? Il s'avère que les concepteurs du véhicule, partant du principe que le conducteur garderait toujours les yeux sur la route, regardaient constamment leur téléphone posé sur leurs genoux.
Cependant, il a également été révélé que les ingénieurs n'avaient pas informé l'opérateur qu'ils avaient programmé le freinage pour qu'il ne soit pas appliqué pendant une seconde, supposant qu'un opérateur humain interviendrait dans les situations extrêmes.

Alors, qui est responsable de la mort d'Hertzberg ? L'intelligence artificielle ?

La domination humaine dans le cyberespace : comprendre les angles morts de l’IA

Algorithmes, heuristiques et la « boîte noire »
La plupart des procédures machine que beaucoup appellent « algorithmes » reposent en réalité sur des heuristiques.
Un algorithme est une procédure permettant de résoudre un problème clairement défini avec une solution optimale, mais les problèmes du monde réel sont incomplets et complexes.
L'intelligence artificielle, et plus particulièrement l'apprentissage automatique, repère des schémas dans de grandes quantités de données, crée des règles et prend des décisions en fonction de ces schémas.
Ce processus implique de nombreuses décisions de modélisation subjectives, notamment la sélection des données, les méthodes de mesure et la conception du modèle, ce qui fait du système une « boîte noire » difficile à observer de l'extérieur.
Alors que les médias utilisent souvent le mot « algorithme » comme synonyme de code ou de logiciel, le véritable problème sur lequel se concentre le professeur Zweig concerne les règles de décision formées à partir de données d'entraînement et de processus heuristiques.
La simple connaissance de la procédure de calcul ne suffit pas à répondre à la question « pourquoi ».

- Une longue série de mauvaises décisions
Le livre fournit ensuite une multitude d'exemples de mauvaises décisions en matière d'IA.
Les biais sexistes et raciaux dans la reconnaissance faciale, l'arrestation de personnes innocentes suite à une contamination des données et l'incapacité des voitures autonomes à reconnaître les piétons s'inscrivent tous dans une « longue chaîne de responsabilité ».
Le risque d'erreur existe à chaque étape : collecte des données, sélection de l'algorithme, mesure de la qualité, interprétation des résultats et exécution.
L'important ici est que l'intelligence artificielle elle-même n'a ni conscience ni intention.
La source de l'erreur réside dans les personnes – les choix et les décisions humaines qui conçoivent et font fonctionner le système.
Cependant, certaines erreurs sont des phénomènes émergents qui surviennent de manière inattendue lorsque les données et les méthodes interagissent, ce qui rend difficile l'identification d'une cause unique.

- Entre vérifiabilité et impossibilité
Le professeur Zweig divise les décisions automatisées en trois types en fonction de leur vérifiabilité.
Premièrement, les décisions qui se produisent si rarement que l'apprentissage lui-même est impossible.
Deuxièmement, les décisions qui peuvent être évaluées quant à leur exactitude et leur équité aux niveaux individuel et collectif.
Troisièmement, il s'agit d'une décision qui implique des jugements de valeur ou qui ne peut être vérifiée immédiatement au niveau individuel, mais qui peut être vérifiée a posteriori grâce à des statistiques de groupe.
Zweig soulève une question importante, notamment dans le dernier type.
« Les jugements des machines sont-ils meilleurs que ceux des humains ? » Même si nous ne les comprenons pas pleinement, si les machines sont plus cohérentes et plus justes, elles ont un potentiel d'utilisation.
Nous tenons toutefois à préciser que la catégorie « vérifiable en principe » n’est pas claire en pratique et que la vérification peut être pratiquement impossible si elle est trop coûteuse et trop longue.

Prométhée, l'humain qui a obtenu le feu invisible appelé IA
Qu'il s'agisse d'utopie ou de dystopie dépend en fin de compte du choix humain.

Un peu plus de trois ans après la commercialisation de l'IA, l'humanité se trouve face à un choix crucial. L'IA est-elle une menace ? Ou une solution miracle ? Au cœur de ce débat passionné, que devons-nous faire dès maintenant pour bâtir l'avenir que nous souhaitons vraiment ?
Après des années de réflexion, Katharina Zweig ne présente pas une solution unique et unifiée, mais plutôt des principes de base qui s'appliquent dans tous les cas.
Les décisions vérifiables nécessitent des contrôles de qualité réguliers, une transparence dans l'utilisation des données et une procédure d'appel rapide.
Dans le même temps, la recherche interdisciplinaire est essentielle pour comprendre et concevoir les conséquences sociales et technologiques de la prise de décision conjointe par les humains et les machines.
Une collaboration entre divers domaines, dont la psychologie, l'éthique, la philosophie, la sociologie et le droit, est nécessaire, et les spécialistes des sciences de l'information doivent participer activement à la conception du système afin de garantir que les exigences techniques soient prises en compte de manière significative.
La première loi mondiale exhaustive sur l'intelligence artificielle, adoptée par le Parlement européen en mars 2024, constitue un premier pas vers l'institutionnalisation de cette orientation.

Questions que les lecteurs devraient se poser
Le professeur Zweig accorde également un rôle aux lecteurs.
Si un nouveau système de prise de décision basé sur l'IA voit le jour, nous devrons nous poser la question suivante :
- Cette décision est-elle vérifiable ?
- Que faut-il vérifier ?
- Les résultats sont-ils justes et non discriminatoires envers un groupe en particulier ?
- Si cela n'est vérifiable que statistiquement, les décisions des machines sont-elles réellement supérieures à celles des humains ?
- Comment concevoir une structure dans laquelle humains et machines prennent des décisions ensemble ?

Les auteurs soulignent que « si nous pouvons répondre à cette question dans chaque cas, nous sommes plus susceptibles de prendre de meilleures décisions ».

L'IA irresponsable n'est pas simplement une critique de la technologie.
En analysant la structure scientifique des algorithmes, des données, de la modélisation et de la vérification, nous démontrons l'impact concret de l'intelligence artificielle sur la société.
Les écrits du professeur Zweig, qui allient la rigueur d'un scientifique à la responsabilité d'un citoyen, servent de guide à ceux qui vivent à l'ère de l'IA pour se protéger et créer de meilleures structures de prise de décision.
Pour prendre de meilleures décisions grâce aux machines, il faut commencer par les questions que nous nous posons maintenant.


Katharina Zweig est l'une des chercheuses les plus éminentes dans le domaine de l'intelligence artificielle.

- Der Spiegel

La spécialiste en sciences de l'information Katharina Zweig affirme qu'il nous appartient de déterminer où les algorithmes sont utiles et où ils ne le sont pas, et de les utiliser à bon escient.
Parce que les machines font aussi des erreurs.
- Süddeutsche Zeitung

Nous vivons à une époque où nous devons composer avec des technologies qui ne sont pas faciles à comprendre.
Ce livre aborde le nouveau défi de la coexistence avec l'intelligence artificielle.

- Frankfurter Rundschau

Dans cet ouvrage, Katharina Zweig, professeure en sciences de l'information, offre un aperçu fascinant et captivant de ce qui pourrait se produire si les entreprises et les gouvernements devenaient trop dépendants de l'intelligence artificielle.

- Focus Money

L'IA irresponsable est un livre véritablement fascinant.
Dans cet ouvrage, Katharina Zweig souligne qu'avant tout, nous ne devons pas tolérer sans discernement l'intelligence artificielle évaluant le comportement humain.
- Courrier Mainhattan