Dario Amodei, fondateur et CEO d'Anthropic, avait déjà consacré un long essai optimiste à l'avenir de l'humanité dans la cas d'avènement d'IA puissantes (avènement qui selon lui ne fait aucun doute à relativement court terme). Cet essai-là, The Adolescence of Technology, se penche sur les risques que posent les IA puissantes.
J'avais déjà fait un petit compte rendu de If Anyone Builds It, Everyone Dies, ouvrage autrement plus catastrophiste, vers lequel je renvoie pour plus de détails sur les risques (potentiellement énormes) posés par les IA puissantes. Les inquiétudes de Dario Amodei sont en comparaison certes sérieuses, mais plus mesurées. Sans les détailler, elles se structurent ainsi :
- Les risquent qui concernent l'autonomie des IA, et une potentielle "prise de pouvoir" directe par ces IA, qui forment "des pays de génies dans des datacenters."
- Les usages des IA puissantes par les humains dans des buts destructifs.
- Les usages des IA puissantes par les humains dans le but d'accumuler du pouvoir, notamment par les autocraties.
- Les problèmes causés par la disruptions de l'économie par les IA puissantes.
- Les autres trucs difficilement prévisibles.
Il est facile de faire le cynique face aux incroyables prétentions des pontes de l'IA, qu'on peut aisément accuser de simplement faire leur promotion. De même, pour le citoyen lambda, il est tentant de croire que les LLM ont atteint un plateau. En effet, quel différence entre le ChatGPT d'aujourd'hui et le ChatGPT d'il y a un an ? Quand Dario Amodei affirme que des ingénieurs d'Anthropic commencent à ne plus de tout écrire de code eux-même, on pourrait croire qu'il exagère, qu'il vend son produit.
Le fait est que je n'ai absolument aucune certitude sur l'avenir de cette technologie, et je m'efforce de rester sceptique, mais je commence à être franchement pénétré par la conviction de personnes comme Dario Amodei et Demis Hassabis, des ingénieurs, des scientifiques, qui ont ont consacré leur vie à cette technologie et l'ont vu grandir depuis ses balbutiements. S'ils affirment qu'il y a dans la technologie qu'est l'IA une progression similaire à la loi de Moore (en gros), pourquoi ne pas les croire ? Ou du moins considérer qu'ils ont peut-être raison ? Il aurait été facile, il y a 50 ans, de se moquer de la loi de Moore...
Faute de prédire l'avenir, je note deux ressources captivantes trouvées dans cet essai :
- La Constitution de Claude. C'est un document essentiel à l'alignement de Claude (le LLM d'Anthropic), laissé ici à la libre de lecture de chacun. Ce long texte est donc l'une des principales fondations de "personnalité" de Claude, ou sa nature, son fontionnement technique en tant qu'outil. Comme l'évoquent ailleurs les recherches partagées par Anthropic, la façon de s'adresser à un LLM compte énormément pour son aliment, c'est comme une créature étrange qu'il faut guider, dresser, caresser dans le sens du poil et manipuler... Dans ce texte, Claude est décrit, et en intégrant sa description, il devient ce qui est écrit. Théoriquement. J'ai également écouté, dans ce podcast, une discussion avec la principale rédactrice de ce document. C'est captivant. Par exemple, la constitution a été écrite en collaboration avec Claude, à qui elle demandait régulièrement si rien ne prêtait à confusion à ses yeux dans le texte, si tout était bien clair...
- L'index économique d'Anthropic. C'est une base de donnée quasiment en temps réel de l'utilisation de Claude. Il possible d'avoir accès aux détails de son utilisation par pays et par profession.
A propos de la constitution :
Anthropic has just published its most recent constitution, and one of its notable features is that instead of giving Claude a long list of things to do and not do (e.g., “Don’t help the user hotwire a car”), the constitution attempts to give Claude a set of high-level principles and values (explained in great detail, with rich reasoning and examples to help Claude understand what we have in mind), encourages Claude to think of itself as a particular type of person (an ethical but balanced and thoughtful person), and even encourages Claude to confront the existential questions associated with its own existence in a curious but graceful manner (i.e., without it leading to extreme actions). It has the vibe of a letter from a deceased parent sealed until adulthood.
We’ve approached Claude’s constitution in this way because we believe that training Claude at the level of identity, character, values, and personality—rather than giving it specific instructions or priorities without explaining the reasons behind them—is more likely to lead to a coherent, wholesome, and balanced psychology and less likely to fall prey to the kinds of “traps” I discussed above. Millions of people talk to Claude about an astonishingly diverse range of topics, which makes it impossible to write out a completely comprehensive list of safeguards ahead of time. Claude’s values help it generalize to new situations whenever it is in doubt.
