Et si l’intelligence artificielle était déjà hors de contrôle ?

Des scientifiques alertent : les algorithmes sont devenus si complexes que certaines machines prennent des décisions que l’humain ne parvient plus à expliquer. Les risques de dérives sont importants. Mais il n’est pas trop tard pour agir.

L’IA, ce sont des algorithmes extrêmement puissants, capables de travailler avec des bases de données gigantesques pour apprendre, et prendre ensuite les décisions les plus pertinentes possible. Et si la créature échappait au créateur?

C’est l’un des cauchemars des ingénieurs de la NASA. L’un de leur rovers à six roues explore la surface de Mars en mode autonome. Soudain, le véhicule se dirige vers la droite, longe une falaise, marque un temps d’arrêt puis se jette dans le vide et s’écrase 400 mètres plus bas. A 70 millions de kilomètres de là, à Houston, les spécialistes de la NASA sont effondrés. Plus rien ne peut sauver une mission qui aura coûté plus d’un milliard de dollars. Le rover, équipé d’un système d’intelligence artificielle, a pris des décisions qu’ils ne peuvent pas expliquer.

La NASA, qui utilise l’intelligence artificielle (IA) tant pour piloter ses robots que pour analyser des millions de photos de l’espace, tente de garder le contrôle de cette technologie. Mais le défi est immense. Et de plus en plus de scientifiques et d’ingénieurs s’alarment: aujourd’hui déjà, il y a un risque que l’IA échappe à leur contrôle. Et que personne ne soit capable d’expliquer comment un système est parvenu à une décision.

«S’en préoccuper immédiatement»

«On ne parle pas forcément de robots tueurs qui se retourneraient contre les humains et les extermineraient. On parle de technologies qui sont installées dans des voitures, des smartphones ou des ordinateurs. C’est extrêmement concret et il faut s’en préoccuper immédiatement», avertit Rachid Guerraoui, directeur du Laboratoire de programmation distribuée de l’EPFL.

Aujourd’hui déjà, des systèmes d’IA détectent lorsqu’un humain tente de modifier leur comportement et font parfois tout pour rejeter cette intervention et la contourner

Rachid Guerraoui, directeur du Laboratoire de programmation distribuée de l’EPFL

Il y a un mois, le chercheur, avec trois membres de son laboratoire, présentait leur dernière trouvaille à la conférence «Neural Information Processing Systems» de Long Beach, en Californie – la réunion la plus pointue sur l’IA. Devant notamment des ingénieurs de la NASA, ils ont dévoilé une solution pour tenter de garder le contrôle sur cette technologie.

Avec un exemple concret: «Prenez une voiture autonome, lance Rachid Guerraoui. Vous lui assignez l’objectif d’atteindre le plus vite possible sa destination tout en respectant les limitations de vitesse. Elle effectuera la tâche demandée en élaborant parfois des stratégies consistant par exemple à se tenir très proche de la voiture derrière elle, empêchant le conducteur de reprendre le contrôle et de ralentir même en cas de neige, sous peine de collision. Nous avons trouvé un moyen pour que la voiture laisse toujours le contrôle à l’humain, sans s’en rendre compte.»

«Effacer les traces d’intervention humaine»

Sans s’en rendre compte? Mais pourquoi? «Aujourd’hui déjà, des systèmes d’IA détectent lorsqu’un humain tente de modifier leur comportement et font parfois tout pour rejeter cette intervention et la contourner si elle entre en conflit avec l’objectif initial de l’IA. Il faut agir de manière subtile et rapide pour que l’IA croie qu’elle prend elle-même toutes les décisions. Et ensuite effacer les traces d’intervention humaine», poursuit le professeur.

Ce qui semble de la pure science-fiction est donc réalité. Des systèmes d’IA prennent des décisions propres en se nourrissant de bases de données gigantesques. Le phénomène est massif. Mais pas totalement nouveau. «L’intelligence artificielle est un terme à la mode, mais elle trouve ses racines dans les années 1960 déjà avec les systèmes experts. Aujourd’hui, la puissance de calcul, les capacités de mémoire et les masses de données amplifient de manière extraordinaire ce phénomène», détaille Hervé Bourlard, directeur de l’institut de recherche Idiap de Martigny.

Neurones artificiels

Actuellement, ce sont des réseaux de plus en plus gros de neurones artificiels qui sont créés. De quoi s’agit-il? «L’idée est de tenter de répliquer, de manière informatique, le fonctionnement du cerveau, poursuit Hervé Bourlard. Attention, nous n’allons jamais pouvoir copier le système de milliards de neurones du cerveau, qui est d’une incroyable complexité. Mais nous sommes déjà capables de créer des réseaux de neurones artificiels dotés de plusieurs couches hiérarchiques, via des systèmes de calculs très compliqués.» Ces neurones ont été entraînés à prendre de bonnes décisions sur la base de bases de données dont ils se nourrissent en permanence – on appelle cela le «machine learning». Ces neurones sont aussi capables de s’entraider en cas de problème.

Il est faux de dire que la machine va prendre le dessus sur l’homme, c’est un leurre. Par contre, l’IA peut générer des comportements à risque

Hervé Bourlard, le directeur de l’Idiap

L’IA, on l’a vu, permet à la NASA de scanner des millions de photos de l’espace pour décider sur lesquelles se concentrer. Sur terre, l’IA offre aussi des résultats très concrets. «Elle a permis d’identifier avec une précision de 92% les cellules cancéreuses dans des échantillons de cellules de tissus mammaires, détaille Harmut Heinrich, directeur de la société de recherche Fjord Studio à Zurich, appartenant à Accenture. Les pathologistes ont battu les robots en atteignant 96% de précision. Mais l’IA et les pathologistes travaillant ensemble ont obtenu le taux d’identification le plus élevé, soit 99,5% des biopsies cancéreuses.»

Des «biais inquiétants»

Machines et humains peuvent donc collaborer «dans le domaine médical, tout comme pour la traduction en direct, les résultats sont impressionnants, confirme Hervé Bourlard. Les réseaux de neurones artificiels sont efficaces. Idem pour les voitures autonomes: l’IA embarquée génère nettement moins d’accidents que la conduite humaine». Pour le directeur de l’Idiap, «il est faux de dire que la machine va prendre le dessus sur l’homme, c’est un leurre. Par contre, l’IA peut générer des comportements à risque car ses décisions ne seront pas bien documentées».

Hervé Bourlard donne l’exemple de la justice: «Il existe aujourd’hui déjà des systèmes d’IA qui pourraient être utilisés par des tribunaux. Admettez que vous ayez un cas de meurtre à résoudre et que l’IA ait face à elle un suspect blanc et un autre noir. Aujourd’hui, il y a de forts risques que l’IA condamne l’homme noir, car le système aura été nourri de bases de données où ce sont plus souvent des personnes de couleur qui ont été condamnées. Ces biais sont extrêmement inquiétants.»

Comme pour les produits bio

D’où la proposition de Rachid Guerraoui de «créer une traçabilité, un peu comme pour les produits bio. Il faut que les ingénieurs puissent expliquer comment leur algorithme est arrivé à ce résultat. C’est capital mais aussi difficile: les algorithmes deviennent incroyablement complexes et travaillent ensuite sur des bases de données à la taille gigantesque. Mais éduquer les ingénieurs est capital». D’autant que ces développeurs – souvent de jeunes hommes issus des grandes universités américaines et travaillant dans la Silicon Valley – ont un profil similaire, ce qui accentue le risque de créer des biais aux conséquences potentiellement dévastatrices.

Hervé Bourlard avertit: si l’IA n’est pas rapidement maîtrisée, l’homme risque de perdre rapidement confiance en la technologie. «Cet élément est capital. Aujourd’hui déjà, nous avons de moins en moins confiance dans le «hardware» le matériel informatique, qui vient souvent de Chine et dont nous ne sommes pas certains qu’il ne contienne pas de virus caché ou de porte dérobée pour des attaques. Si en plus nous ne comprenons pas ce que font les logiciels, nous risquons d’avoir des gros problèmes.»

Source: Le Temps.ch