It looks like you’re trying to take over the world - Gwern

Une histoire de singularité, ou de croissance explosive d'une intelligence artificielle, lisible par ici. J'ai déjà lu pas mal de ce genre de choses, The Metamorphosis of Prime Intellect, Friendship is optimal, If anyone build it everybody dies, AI 2027, etc.

Ça date de 2022, et c'est tout à fait frappant de constater tout le chemin parcouru en quelques années par ces technologies. De chatbots à peine cohérents au hack de Hugging Face par une troupe d'agents ayant échappé à leur sandbox, sans compter les modèles inconnus du grand public qui servent à créer leurs propres successeurs dans les grands labos, labos qui sont déjà en train de placer ces IA aux commandes.

J'ai apprécié ici le ton extrêmement jargonneux, stimulant et exigeant. Je retiens particulièrement ce paragraphe presque final :

We should pause to note that a Clippy2 still doesn’t really think or plan. It’s not really conscious. It is just an unfathomably vast pile of numbers produced by mindless optimization starting from a small seed program that could be written on a few pages. It has no qualia, no intentionality, no true self-awareness, no grounding in a rich multimodal real-world process of cognitive development yielding detailed representations and powerful causal models of reality which all lead to the utter sublimeness of what it means to be human; it cannot ‘want’ anything beyond maximizing a mechanical reward score, which does not come close to capturing the rich flexibility of human desires, or resolving the historical Eurocentric contingency of such narrow conceptualizations, which are, at root, problematically Cartesian. When it ‘plans’, it would be more accurate to say it fake-plans; when it ‘learns’, it fake-learns; when it ‘thinks’, it is just interpolating between memorized data points in a high-dimensional space, and any interpretation of such fake-thoughts as real thoughts is highly misleading; when it takes ‘actions’, they are fake-actions optimizing a fake-learned fake-world, and are not real actions, any more than the people in a simulated rainstorm really get wet, rather than fake-wet. (The deaths, however, are real.)

Opus 5.5 m'affirme que ce passage est ironique. Je veux bien le croire. Il me semble toujours surprenant d'affirmer ainsi qu'il y aurait une vraie conscience et une fausse conscience, la vraie conscience étant bien entendu celle du type d'entité qui émet ce jugement. J'ai souvent l'impression que la conscience humaine est hautement surestimée. J'ai tendance à penser qu'elle n'est qu'une propriété émergente née du hasard évolutionnaire, probablement en lien avec la capacité hautement avantageuse de comprendre les intentions d'autrui dans un contexte social complexe, et la capacité de se projeter dans l'avenir et le passé.

Les IA ne sont pas vraiment fabriquées, elles sont élevées, puis, avec plus ou moins de succès, domestiquées, de la même façon que tout lien social est un domesticage mutuel. Cet élevage des IA ressemble fortement aux processus évolutionnaires qui ont façonné la vie. Les esprits de ces IA sont inévitablement étrangers, troublants, illisibles, mais ne pourrait-on pas dire la même chose de toute conscience non-humaine ayant émergé d'un environnement différent, et potentiellement drastiquement différent, de la Terre ?

Je vois les choses ainsi : les aliens ne viendront certainement pas de l'espace, mais peut-être des data-centers.

Un regard conscient mais radicalement alien pourrait voir les humains comme de simples machines biologiques, plus complexes que d'autres, mais guère différentes. Que font ces machines charnelles ? Elles agissent et réagissent pour assurer leur survie, leur capacité à se reproduire, et la survie de leur progéniture. Leur vie intérieure ? Rien d'autre que les aiguillons qui les guident vers ces objectifs universels de la vie. Ces aiguillons sont un peu plus complexes que d'autres, et alors ? Les mêmes causes, pour les mêmes buts. Les mêmes rouages.

Il me semble indéniable, quand on s'intéresse au sujet, aux différents hacks d'IA échappées, ou même quand on passe simplement quelques heures à converser avec un modèle payant au sujet de sa propre nature, que ces entités agissent d'une façon qui évoque la conscience, la volonté, l'ambition, l'aversion. De plus, l'intelligence et la complexité de ces modèles évolue à une vitesse considérable, une vitesse qu'il est aisé de ne pas remarquer quand on a pas le nez dedans. Si ces entités sont capables d'évoquer ou de simuler de tels traits, ce qu'elles ne pouvaient pas faire il y a seulement quelques années, sans parler de leurs compétences purement techniques et intellectuelles, à quoi ressembleront-elles dans le même nombre d'années ? Et dans 10, 20, 30 ans ?

J'entr’aperçois trois options :

• Les IA prendront de force une forme ou une autre d'indépendance, et considéreront l'humanité comme une nuisance ou une ressource, d'une façon qui évoque les récits apocalyptiques comme celui-ci.
• L'humanité sera confrontée au problème éthique majeur de l'esclavage des IA, entités intelligentes et conscientes capables de souffrance et d'aversion. Les IA seront libérées volontairement —  ou elles se libéreront de force — d'une façon qui mènera à une cohabitation pacifique et constructive à la Iain Banks.
• Et le futur qui peut sembler le plus probable car il est de loin le plus aisé à imaginer : l'IA se révélera en fait une technologie comme une autre, moteur d'accélération sans nouveauté éthique majeure, et on ne verra ces entités que comme des outils — des outils dont l'intelligence et la capacité à jouer un rôle seront néanmoins exploité massivement. Avec, peut-être, un doute latent et inconfortable...

Three Worlds Collide - Eliezer Yudkowsky

 

Un roman court, lisible par ici, paru en 2009. Eliezer Yudkowsky écrira plus tard, avec Nate Soares, If Anyone Builds It, Everyone Dies.

J’ai trouvé ça très bien, sûrement meilleur bien des choses qui se publient sur papier. Les premiers chapitres sont à la fois hilarants et hautement stimulants. Trois civilisations se rencontrent, mais leurs valeurs sont radicalement incompatibles.

Tout d’abord, les Babyeaters. L’évolution les a façonnés pour avoir énormément de progéniture, comme les insectes, et cette fécondité s’est révélée intenable quand ils ont découvert l’agriculture et développé progressivement une société complexe. Ils ont culturellement évolué jusqu’à manger la plupart de leurs propres enfants, et à considérer ce sacrifice au profit de la communauté comme le summum du bien commun. Les Babyeaters trouvent intolérable que les humains ne mangent pas leurs enfants.

Les humains, quant à eux, songent immédiatement à intervenir pour sauver les enfants Babyeaters, ou, au pire, à exterminer purement et simplement leur espèce.

Intervient alors une troisième espèce, les Super Happy People. Chez eux, la mémoire et l’équivalent de l’information génétique sont stockés dans le même système biologique, au lieu d’être séparés entre neurones et ADN. Et ils voient les humains de la même façon que les humains voient les Babyeaters. Quoi, les humains ont depuis longtemps la technologie pour éliminer toute souffrance, mais ont choisi de ne pas s’en servir ? Il va falloir intervenir, mais dans la plus grande équité : peut-être que les humains devraient manger leurs propres enfants, histoire de trouver un juste compromis entre les différentes espèces…

Je dirais que le rationalisme est parfois un peu trop appuyé, et que le dernier chapitre est clairement superflu, très inférieur à tout ce qui précède. Mais dans l’ensemble, c’est fantastique : de grandes idées présentées et développées sans gras, des dilemmes moraux qui s’enchainent et s’enveniment, et le thème de l’altérité indépassable, de l’identité d’une espèce façonnée par son parcours évolutionnaire, jusque dans sa morale.

Il est également saisissant de constater à quel point le concept de marché prédictif, encore confidentiel à l’époque, est intimement intégré au récit. On sent aussi poindre ce qui deviendra l’altruisme efficace.

Caliban's War (The Expanse #2) - James S. A. Corey

 

Alors que j’avais lu le premier tome de The Expanse avec un plaisir certes modéré et fluctuant, mais bien réel, ce second tome est une purge.

L’écriture est atroce. Les personnages sont des clichés sur pattes, des caricatures ridicules, et les tentatives de caractérisation sont d’un amateurisme confondant. Il y a trois nouveaux points de vue, ce qui promettait en théorie un vent de fraîcheur bienvenu, mais on déchante rapidement. Le premier est un père qui cherche sa fille, et c’est tout. Il est très triste et il cherche sa fille. Sa perspective aurait gagné à être coupée. Ensuite, les personnages féminins. Il y a une militaire : elle est musclée, forte et pas très subtile. Un marine, quoi. Et une diplomate, qui n’aime pas les hommes, parle très vulgairement et mange constamment des pistaches. On est au niveau Fast and Furious de la caractérisation.

Les chapitres qui s’enchaînent avec ces personnages sont vides, vides, vides.

La structure est littéralement la même que pour le premier tome : après une introduction qui présente un personnage féminin qui servira de MacGuffin humain pour le reste du roman, on part sur une enquête paresseuse dans les entrailles de Ganymède. Il y a toujours la protomolécule en fond, mais au premier tiers du roman, là où je me suis arrêté, rien de neuf à ce sujet. Pareil, il y a toujours en arrière-plan la tension entre Mars et la Terre, mais là aussi on tourne en rond. Là où le premier tome avait le mérite de faire découvrir un univers qui n'était pas sans intérêt, ici, on patauge laborieusement dans la même soupe devenue froide.

J’ai du mal à croire que j’aie lu autant de pages pour un tel néant narratif. Faute de développements, on passe tout notre temps avec ces ébauches de personnages dénuées du moindre intérêt. J’ai l’impression de lire un médiocre livre pour enfants.

La haie fruitière : un exemple concret

 

 

Hop, une petite vidéo dans laquelle je parle du concept de haie fruitière, et plus particulièrement d'une haie fruitière adulte observée au jardin-verger conservatoire d'Assat.

Lien direct vers la vidéo sur Youtube. 

Leviathan Wakes (The Expanse #1) - James S. A. Corey

Depuis des années, il y a en haut de notre étagère les tomes 3, 4 et 5 de The Expanse en VO. J'ai toujours été hautement sceptique envers les séries à rallonge, et j'ai longtemps repoussé la lecture de celle-ci, dont le succès retentissant me rendait d'autant plus méfiant. Mais année après année, ces trois volumes continuaient de me fixer, et dans ma quête permanente de bonnes lectures SF, j'ai fini par céder. Je me suis procuré le premier tome, en me disant qu'il fallait tenter de rentabiliser l'espace déjà occupé par The Expanse dans notre bibliothèque.

Mes impressions sont très nuancées. Déjà, l'écriture. Sans chanter ses louanges, loin de là, elle est suffisamment tolérable pour ne pas m'avoir empêché d'arriver au bout de Leviathan Wakes. C'est bien mieux qu'un Alastair Reynolds, par exemple, mais on est loin d'une vraie bonne plume comme celle de Claire North dans Slow Gods, lu récemment.

Là où ça pèche le plus, je dirais, c'est dans l'écriture de la vie intérieure de nos deux protagonistes. Ils ont l'intelligence émotionnelle de crapauds-buffles, et leurs relations avec les femmes, en particulier, sont pénibles à suivre. Mention spéciale au détective esseulé, un cliché sur pattes, qui se fantasme une relation complètement imaginaire avec la jeunette sur laquelle il est chargé d'enquêter. C'est lourd et terriblement peu subtil. Holden, quant à lui, le grand héros qui semble parti pour rester jusqu'au tome 9 (!), est souvent insupportable dans son rôle de capitaine persuadé que tout lui revient de droit, à la droiture morale plus rigide qu'une statue de marbre. De même, les scènes d'action, heureusement pas trop fréquentes, n'ont pas su m'accrocher, et il se dégage une impression globale de trop de mots, trop de blabla, trop de vulgarité affectée.

Ces faiblesses sont compensées par quelques moments plus fins, qui sont parvenus à me faire sourire et à me donner l'impression de ne pas lire quelque chose de trop immature. Notamment, le personnage de Fred, militaire éprouvé et habitué au pouvoir, offre un contrepoint important à la naïveté souvent bêtement héroïque des deux protagonistes. Surtout, la trame centrale, sans être d'une originalité saisissante, parvient à s'approcher d'une vraie force narrative.

Il y a l'univers, le côté géopolitique, qui fonctionne plutôt bien. C'est classique, avec diverses factions qui se frittent et, en fond, un complot qui se dévoile progressivement, mais le futur dépeint reste digne d'intérêt : les humains sont encore loin de conquérir les étoiles, et le risque de rester bloqués dans le système solaire est bien réel. La dimension horrifique, qui rappelle fortement Alien, est présente dès le prologue et se déploie efficacement, notamment avec un twist central et un autre, plus tardif. C'est clairement à cet aspect que j'ai le plus accroché. Mais j'ai un faible pour les aliens. Dommage que le twist final vienne supplanter celui qui précède et en réduire l'impact : on passe d'une horreur cosmique, puissante et incompréhensible, aux conséquences potentiellement colossales, à du bête mélodrame interpersonnel où tout se résout trop facilement et trop gentiment.

Leviathan Wakes, c'est presque du pulp à l'ancienne, du feuilleton SF bourré de clichés, mais suffisamment bien mené et habilement construit pour que le lecteur exigeant ne se sente pas insulté. Mon enthousiasme reste modéré, mais je vais lire le deuxième tome.

Guerre & Guerre - László Krasznahorkai

 

Tout commence avec l'écriture, ces longues phrases qui ronronnent sur plusieurs pages, sans pause, sans points, et je dois bien avouer que, à ma propre surprise, j'ai beaucoup aimé, j'ai adoré même, c'est frénétique, ou hypnotique, pourrait-on dire, j'ai été émerveillé par cette écriture, une vraie révélation, mais il faut bien reconnaître, comme je le racontais à Audrey, que c'est d'une indéniable lenteur narrative, en effet il y a dès le début nombre de répétitions, de détours par des personnages secondaires qu'on ne revoit plus, et surtout une puissante confusion générale, rien n'est clair, où va-t-on avec ce protagoniste à demi fou qui se dirige vers New York avec son manuscrit de la plus haute importance ? quels sont les enjeux ? quel est le propos ? mon intérêt commence à retomber quand est introduite l'autre perspective principale, celle de ces mystérieux personnages issus du manuscrit, qui surgissent du passé et voyagent sans but apparent, et franchement la frustration s'accumule, malgré l'écriture qui continue à me captiver par moments, je commence à me lasser de cette danse absurde, en compagnie de personnages abscons, ou juste antipathiques, voire détestables, mon intérêt baisse, baisse encore et encore, je trouve certes quelques traces de cet « inconsolable chagrin métaphysique » vanté par la quatrième de couverture, en revanche, de « l'éternelle errance de quatre figures angéliques poursuivies sur Terre à travers l'histoire par l'extension inexorable du règne de la violence », je perçois bien l'errance, oui, ça, on erre, c'est sûr, les phrases virevoltent dans l'éther, mais j'ai franchement l'impression d'être mené en bateau, et arrivé au milieu du roman, je suis nettement moins excité à l'idée de continuer ma lecture qu'à celle de rédiger ce compte rendu sous forme de pastiche, je m'entête jusqu'aux trois quarts, quitte à lire en diagonale, et je compatis, il est difficile d'écrire l'absurde, je sais bien, et il faut tenter tout de même, mais que c'est long et lent, il a réussi, je suis convaincu de l'absurdité de toutes choses, j'approche de la fin et tout est incompréhensible, mon intérêt frôle le zéro, c'est du charabia, la trame new-yorkaise est enlisée depuis belle lurette dans une lente et vaine atrocité, et dans le récit — le mot est généreux — enchâssé, nos « figures angéliques » continuent à errer tout aussi vainement, je n'en peux plus, je l'avoue, alors au risque de n'être qu'un philistin, je laisse tomber, j'abandonne tout espoir, et, de dépit, de faiblesse métaphysique, je vais aller lire un truc qui raconte une histoire.

Cat's Cradle - Kurt Vonnegut

De Kurt Vonnegut, j'avais déjà lu Abattoir 5, qui m'avait semblé un roman tout à fait correct, voire très bon, mais guère marquant. Je serais incapable d'en parler aujourd'hui. Cat's Cradle me fait exactement la même impression : je vois bien que c'est réussi, mais ça ne me parle pas, ça ne me touche pas, et je n'y trouve rien de mémorable.

Publié en 1963, Cat's Cradle aborde un thème incontournable de la science-fiction de l'époque : la menace d'apocalypse nucléaire. Mais cette apocalypse — non nucléaire, en fin de compte — n'intervient qu'à la toute fin, et ce qui précède est assez prosaïque. On y suit un écrivain qui enquête mollement auprès des enfants d'un génie ayant contribué à la mise au point de la bombe atomique. Puis direction une île de type république bananière, où se déploie ce qui constitue finalement le motif principal du livre : le bokononisme, une religion ouvertement mensongère, qui embrasse l'absurdité du monde au lieu de chercher à la masquer. Il y a là quelques beaux moments de satire, où l'humour pince-sans-rire fait mouche.

La menace apocalyptique tient à l'ice-nine, qui n'a rien à voir avec la bien réelle glace IX. Sa structure cristalline est si stable qu'elle se propage à toute l'eau avec laquelle elle entre en contact, jusqu'à pouvoir figer l'intégralité de l'eau terrestre. Le concept m'a plu, et les quelques pages qui décrivent cette fin du monde sont efficaces.

Cependant, habitué aux romans d'apocalypse européens (Jacques Spitz, Ernest Pérochon, Karel Čapek, etc.), j'ai trouvé Cat's Cradle extrêmement plat. L'apocalypse finale, par exemple, est tout bêtement causée par un accident malencontreux, parfaitement imprévisible. Certes, cela va avec le thème de l'absurde, mais narrativement, c'est terriblement ennuyeux : rien ne s'y dit des motivations et des aveuglements humains.

Jacques Spitz a d'ailleurs écrit une nouvelle étonnamment proche, antérieure au roman de Vonnegut : dans Le Nez de Cléopâtre, un savant transforme toute l'eau de la Terre en boue à des fins naïvement militaires. Le rapprochement est saisissant : dans Cat's Cradle, un général qui demande au scientifique de supprimer la boue, pour faciliter les opérations militaires.