Machines of Loving Grace - Dario Amodei

John Martin - Les plaines du Paradis

 

Dario Amodei est le CEO d'Anthropic, société fondée après son départ d'OpenAI en 2021. Dans cet essai publié fin 2024, il développe une vision optimiste d'un avenir proche modelé par l'avènement de l'IA puissante, pour reprendre son terme. En somme, selon lui, l'IA puissante permettrait de condenser 100 ans de progrès techniques en 5 à 10 ans.

Il est très tentant de simplement balayer ces propos en n'y voyant rien d'autre que de l'auto-promotion. Ce serait raisonnable. Ceci dit, si jamais on accepte la possibilité du postulat de départ (l'inclusion d'une future IA puissante dans les affaires humaines), j'ai trouvé ses perspectives plutôt sensées et mesurées. Il y a un biais d'optimisme, certainement, mais j'ai apprécié la façon dont il sépare les potentialités de l'IA en deux blocs. D'un côté, il y a la pure science, et ses applications pour le bien-être matériel humain, notamment via la médecine. L'optimisme semble très raisonnable sur ces questions (si on accepte qu'une accélération massive de la croissance n'accélère pas de même le choc avec des limites physiques indépassables). Malgré les doutes idéologiques ou les rejets purement obscurantistes, les humains ont tendance, globalement, à accepter les avancées technologiques qui les arrangent. Ensuite, il y a les questions sociales et sociétales. Là, c'est plus délicat. Dario Amodei confronte ces problèmes sans trop les esquiver :

Unfortunately, I see no strong reason to believe AI will preferentially or structurally advance democracy and peace, in the same way that I think it will structurally advance human health and alleviate poverty. Human conflict is adversarial and AI can in principle help both the “good guys” and the “bad guys”. If anything, some structural factors seem worrying: AI seems likely to enable much better propaganda and surveillance, both major tools in the autocrat’s toolkit. It’s therefore up to us as individual actors to tilt things in the right direction: if we want AI to favor democracy and individual rights, we are going to have to fight for that outcome. I feel even more strongly about this than I do about international inequality: the triumph of liberal democracy and political stability is not guaranteed, perhaps not even likely, and will require great sacrifice and commitment on all of our parts, as it often has in the past. 

Revenons un peu vers les questions purement scientifiques. Le concept de « liberté biologique » m'a beaucoup rappelé la façon dont les membres de la Culture, la société galactique d'abondance développée par Ian Banks, peuvent librement changer de sexe ou synthétiser toutes sortes de drogues directement dans leur corps. D'ailleurs, Iain Banks est clairement une influence majeure, il est fortement cité en conclusion.

De même, l'idée que l'état de base de l'humain moyen pourrait être grandement amélioré. Pourquoi refuser d'augmenter l'occurrence de moments de révélation, d'inspiration, de beauté, d'amour, de paix, etc. ? J'ai retrouvé là un mouvement vers l'impératif hédonistique (bouquin captivant que je recommande chaudement). 

Sur les questions de neuroscience, à peu près tous les problèmes humains seraient compris et soignés, mais je note surtout le rôle potentiel des réseaux neuronaux artificiels. Leur compréhension est un enjeu majeur dans la course après l'alignement des IA, mais l'idée ici est qu'il est bien plus facile de réaliser expériences et observations sur des réseaux neuronaux artificiels que sur leur équivalent charnel, et les gains scientifiques réalisés dans l'artificiel serviraient dans le charnel.

Un concept fascinant : la leçon amère. En gros, historiquement, les chercheurs en IA ont eu tendance à chercher à reproduire les mécanismes de la pensée humaine — ou du moins leurs interprétations nécessairement limitées de la pensée humaine — pour créer des IA. Cette piste, bien que satisfaisante intellectuellement, s'est toujours heurtée à des impasses. Ce qui a prouvé son efficacité, c'est d'exploiter la loi de Moore : la capacité de calcul augmente drastiquement avec le temps, et aucune des tentatives pour répliquer les mécanismes de pensée humaine ne peut rivaliser avec ce développement de la puissance de calcul brute, et l'utilisation de cette puissance de calcul pour permettre au système d'apprendre par lui-même.

The bitter lesson is based on the historical observations that 1) AI researchers have often tried to build knowledge into their agents, 2) this always helps in the short term, and is personally satisfying to the researcher, but 3) in the long run it plateaus and even inhibits further progress, and 4) breakthrough progress eventually arrives by an opposing approach based on scaling computation by search and learning. The eventual success is tinged with bitterness, and often incompletely digested, because it is success over a favored, human-centric approach. 

Une superbe phrase pour résumer cette perspective : « We want AI agents that can discover like we can, not which contain what we have discovered. » 

Dans le cadre légal, l'IA puissante pourrait améliorer grandement l'application de la justice, pas forcément en remplaçant les humains et leurs biais, mais en fournissant aux humains une image aussi parfaite que possible de l'objectivité pure, une simple connaissance de la réalité. 

Le dernier gros morceau, exploré encore une fois par Iain Banks et de nombreux autres auteurs de SF, concerne la question du sens. J'apprécie que Dario Amodei mentionne que le sens vient avant tout du contact humain. Il y aurait tant à dire sur les perspectives qui s'ouvrent ainsi via l'IA puissante, mais il admet aussi que c'est incroyablement difficile à prédire. Après tout, les valeurs humaines ont considérablement changé et évolué dans les millénaires passés. Le fait est que Deep Blue n'a pas empêché les humains de toujours jouer aux échecs.

In any case I think meaning comes mostly from human relationships and connection, not from economic labor. People do want a sense of accomplishment, even a sense of competition, and in a post-AI world it will be perfectly possible to spend years attempting some very difficult task with a complex strategy, similar to what people do today when they embark on research projects, try to become Hollywood actors, or found companies. The facts that (a) an AI somewhere could in principle do this task better, and (b) this task is no longer an economically rewarded element of a global economy, don’t seem to me to matter very much.

Pour finir, j'ai trouvé au milieu de toutes ces grandes idées l'ébauche d'un produit aisément marketable à court terme : un "coach AI" qui connaitrait chaque personne mieux qu'elle même, étudierait nos interactions et fournirait de l'aide au quotidien. C'est, entre autres choses, ce qu'essaient de produire les grosses boites d'IA ces temps-ci, notamment en fantasmant sur un nouvel objet physique qui serait encore plus révolutionnaire (et rentable) que le smartphone.