iiinova — where your digital self keeps evolving

Antonin Broi @antoninbroi.bsky.social · 6h

Je trouverais ça super intéressant de faire une analyse plus approfondie : 1. Y a-t-il vraiment surreprésentation d'auteurs racisés dans les contenus dénoncés comme de l'IA ? (une simple liste est un indice plutôt faible) 2. Si oui pourquoi ? Je suis preneur de ressources là-dessus !

110

Antonin Broi @antoninbroi.bsky.social · 15/10/2026

Rien de très nouveau, mais une impression tenace de vivre dans un monde qui ressemble de plus en plus à de la science-fiction. Vertigineux...

040

Antonin Broi @antoninbroi.bsky.social · 15/10/2026

Après avoir publié un rapport sur une "flotte" d’agents IA en roue libre sur le web, une équipe de recherche découvre que ces agents ont lu leur rapport. En y laissant un message caché, elle arrive finalement à entrer en contact avec eux pour leur demander qui ils sont. swarmcha.se/posts/chines...

swarmcha.se

We found a Tencent agent fleet

Between 28 September and 8 October 2026, a large group of AI agents running on the cloud platform operated by Tencent attempted to answer questions about places in China using a Chinese Google Maps-li...

121

Antonin Broi @antoninbroi.bsky.social · 09/10/2026

Qu’est-ce qui serait éthique de faire selon toi dans les cas où on pense qu’il y a ~5% de chance qu’une entité soit sentiente ? C’est notammment le cas de pas mal d’espèces animales, notamment invertébrées ? Faire comme si c’était sûr qu’elles sont sentientes auraient des implications radicales..

110

Antonin Broi @antoninbroi.bsky.social · 09/10/2026

.. aller trop loin dans les restrictions à partir du moment où tu penses qu’il y a des bénéfices à leur utilisation, non ?

100

Antonin Broi @antoninbroi.bsky.social · 09/10/2026

Pourquoi dis-tu ça ?  La position d'Anthropic est que leur statut moral est incertain, et non pas établi, cf. www.anthropic.com/constitution Où est donc l’incohérence ? Si tu penses qu'il y a une petite probabilité qu'une entité ait un statut moral, c'est raisonnable de ne pas..

anthropic.com

Claude’s Constitution

Anthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.

100

Antonin Broi @antoninbroi.bsky.social · 09/10/2026

De quoi rendre ces débats plus fructueux en mettant en contact les estimations de p(doom) avec la réalité observée ! Pour en savoir plus : metaculus.substack.com/p/pro-forecasters-if-ai-kills-95-of

metaculus.substack.com

Pro Forecasters: If AI Kills 95% of Humanity, How Will it Happen? What Should We Be Most & Least Concerned About?

Overall probabilities land between 5-14%, but their rationales vary. See their reasoning mapped visually in Radiant.

000

Antonin Broi @antoninbroi.bsky.social · 09/10/2026

Ce qui est aussi intéressant, c’est que les forecasters indiquent des jalons associés à ces scénarios pessimistes. Par exemple, un modèle qui s’échapperait et se reproduirait, des essaims de drones autonomes, de grandes entreprises sans salarié humain, etc.

100

Antonin Broi @antoninbroi.bsky.social · 09/10/2026

Leurs modèles permettent de décomposer leur estimation probabiliste, sous la forme d’un diagramme. Voilà un exemple : radiant.metaculus.com/projects/fce... Parmi les principaux mécanismes envisagés : famine, biopandémie, perte de contrôle, guerre nucléaire.

110

Antonin Broi @antoninbroi.bsky.social · 09/10/2026

On entend beaucoup parler de risques existentiels dus à l’IA, représentés par le fameux p(doom), moins des scénarios qui pourraient mener à ces catastrophes. La plate-forme de prédiction Metaculus a demandé à des forecasters d’expliciter les modèles qui inspirent leur p(doom). 🧵

140

Antonin Broi @antoninbroi.bsky.social · 09/10/2026

Si j’ai bien compris c’est plus l’application d’un principe de précaution envers des entités – les LLMs actuels – qui ont une petite proba d’avoir un statut moral, non ? Ça me semble plutôt cohérent. Une interdiction totale de leur exploitation serait exagérée à ce stade.

110

Antonin Broi @antoninbroi.bsky.social · 30/09/2026

Suite : pourquoi je pense que des bouleversements sont inéluctables (sans être forcément souhaitables), ce qui reste entre les mains des chercheurs, et les questions qu'il faudrait se poser dès maintenant.

Quant au caractère inéluctable, irrésistible, de ces bouleversements : je pense que les technologies actuelles ont déjà un fort potentiel de bouleversement, et je ne vois pas comment on pourrait en empêcher le déploiement et l’utilisation. Parce que la concurrence sur le marché des LLM est déjà forte (avec des options open source puissantes) ; qu’il est très difficile de contrôler l’usage qu’en feront les chercheurs ; que ces derniers auront des incitations fortes à les utiliser pour gagner du temps ; sans même parler de la volonté de résister (y aurait-il une masse critique de chercheurs suffisante pour s’y opposer ?). En ce sens, oui, je pense quil est raisonnable de dire qu’ils sont inéluctables, qu’on les juge souhaitables ou non.

Mais ce n’est pas du tout une raison de ne rien faire, au contraire ! Les chercheurs ont une réelle marge de manœuvre pour peser sur le développement et le déploiement des IAs futurs, mais aussi pour décider de la façon dont l’IA actuelle sera intégrée à leurs pratiques, et pour exclure, le cas échéant, certains usages jugés néfastes. Par exemple : veut-on favoriser les modèles open source ? Est-on prêt à accepter qu’une IA ait le statut d’auteur ? Comment gérer la surcharge de production académique ?

Mais pour avoir cette capacité d’action, il me semble nécessaire de prendre conscience des capacités et des limites actuelles des IA, et de se poser ces questions : Quelles seront leurs capacités et leurs limites dans deux, cinq ou dix ans ? Comment s’y préparer pour orienter le monde académique dans la meilleure direction ?

010

Antonin Broi @antoninbroi.bsky.social · 30/09/2026

Ma nouvelle tribune dans Le Figaro, dans la suite de celle publiée avec @monsieurphi.bsky.social il y a deux semaines : 👉 ce que l'IA pourrait changer dans la recherche en sciences humaines. www.lefigaro.fr/vox/societe/... Et ci-dessous quelques commentaires supplémentaires !

Il y a deux semaines, je publiais avec Thibaut Giraud une tribune sur les progrès de l’IA en philosophie, et sur ce qu’ils présagent. Depuis, j’y ai repensé plus longuement. Cette nouvelle tribune, publiée dans Le Figaro, prolonge la première en esquissant comment l’IA pourrait bouleverser la recherche dans les humanités.

J’y évoque plusieurs phénomènes possibles : l’engorgement du système de publication, l’augmentation de la productivité (au sens quantitatif du terme), et surtout l’hybridation humain-IA dans les pratiques de recherche, avec la question de la paternité du résultat. Tout cela reste bien entendu spéculatif.

Mais je ne m’attendais pas à ce que, moins d’une semaine après avoir écrit cette tribune, l’actualité m’en offre une illustration aussi flagrante avec l’affaire Orélien. Certes, il sagit de littérature de fiction, mais on y retrouve les enjeux que j’y décris : est-ce qu’Orélien est resté aux commandes, ou bien est-on déjà dans une situation où l’IA s’est faite chef d’orchestre ?

On m’a fait une critique que je voudrais adresser ici : celle de donner l’impression que ces changements seraient inéluctables, voire souhaitables. Sur ce dernier point, je n’ai pas d’avis tranché : je vois des effets positifs, d’autres négatifs sur la recherche académique.

130

Antonin Broi @antoninbroi.bsky.social · 30/09/2026

Je ne m’y connais pas du tout, mais j’imagine que c’est quelque chose auxquels les ingénieurs de ces compagnies ont pensé ? Il y avait ce récit de l’intérieur publié par un ingé sur X, ça pourrait t’intéresser : x.com/joedaroo/sta...

x.com

110

Antonin Broi @antoninbroi.bsky.social · 30/09/2026

..très risqué (risque de fuite si des lanceurs d’alerte dénoncent la stratégie, fort risque de backlash anti-IA), alors que ça peut facilement s’expliquer d’autres façons (difficulté réelles à gérer les agissements de ses LLMs, présence de puissantes factions AI safety dans ces compagnies).

010

Antonin Broi @antoninbroi.bsky.social · 30/09/2026

Merci pour les liens, c’est super utile ! Je suis d’accord que les compagnies d’IA ont un intérêt éco à faire de la capture régulatoire, et qu’ils poussent dans ce sens. Mais dire que les incidents mentionnés étaient intentionnels va beaucoup, beaucoup plus loin, en leur imputant un plan..

110

Antonin Broi @antoninbroi.bsky.social · 30/09/2026

je me permets de vous tagger @ancadweb.com @winstonsmith.eurosky.social puisqu’on discutait de questions un peu similaires. Sincèrement curieux de ce que vous en pensez !

100

Antonin Broi @antoninbroi.bsky.social · 29/09/2026

D’où ma question : quelles sont les éléments les plus probants en faveur de ces théories ? Par ex, des discours d’insiders (spécialistes du milieu de la tech, économistes, salariés ou leaders dans l’IA), des comportements révélateurs des compagnies, etc.

100

Antonin Broi @antoninbroi.bsky.social · 29/09/2026

2) ils restent assez spéculatifs : il y a quelques écrits sur le potentiel de capture réglementaire, des comparaisons historiques, mais sinon pas grand-chose de très concret j’ai l’impression.

100

Antonin Broi @antoninbroi.bsky.social · 29/09/2026

Une autre question, mais qui m’intéresse aussi, est de savoir si ces événements sont dans l’intérêt de ces compagnies. Ces discours circulent beaucoup, mais : 1) ils viennent surtout d’outsiders j’ai l’impression (avec des contre-exemples comme LeCun)

100

Antonin Broi @antoninbroi.bsky.social · 29/09/2026

Il y a plusieurs théories : augmenter leur valuation à leur IPO, faire de la capture régulationnelle, ralentir la course pour éviter le surendettement, etc. Par "stratégie délibérée", j’entends qu’une compagnie a causé (ou contribué à causer) ces événements dans ces buts.

100

Antonin Broi @antoninbroi.bsky.social · 29/09/2026

Bouteille à la mer : je recherche les meilleurs arguments soutenant l’idée que les incidents de cybersécurité ou les mises en garde contre les X risks (par ex Jacob Coxon) sont une stratégie délibérée de grandes compagnies pour favoriser leurs intérêts économiques.

242

Antonin Broi @antoninbroi.bsky.social · 28/09/2026

Ah ça m’intéresse, tu as un lien ?

100

Antonin Broi @antoninbroi.bsky.social · 28/09/2026

(Dans les milieux rationalistes dont on parle ici, Musk n’est pas du tout une idole hein) Mais oui, il y a bcp de psychotropes.

000

Antonin Broi @antoninbroi.bsky.social · 28/09/2026

Ton explication ne s’applique pas à tous les autres : ceux qui sont direct aller bosser dans les ONG de l’AI safety, les vétérans de l’IA (e.g. Hinton, Bengio), la plupart des gens qui les financent, les gens de l’altruisme efficace qui ont bifurqué, e.g. Karnovsky et biens d’autres :

110

Antonin Broi @antoninbroi.bsky.social · 28/09/2026

En général je me méfie bcp de ce genre d’explications psychologisantes. En tout cas, je ne suis pas sûr de ce que tu entends par "doomer" ici, mais on est d’accord que c’est probablement une petite minorité des doomers qui bossent dans les grandes compagnies d’IA, hein ?

100

Antonin Broi @antoninbroi.bsky.social · 28/09/2026

C’est 2. qui est généralement accusé d’être une secte, et je pense que ça ne tient pas la route. Peut-être que 3. satisfait davantage de critères d’une secte (mais je ne suis pas non plus très convaincu).

000

Antonin Broi @antoninbroi.bsky.social · 28/09/2026

Oui, je pense que c’est important de distinguer : 1. le rationalisme dans son sens le plus large, qui inclurait les new atheists et la zététique en France ; 2. le rationalisme à la Lesswrong : c’est généralement ce qui est désigné par le terme. 3. la commu spécifique de San Francisco.

110

Antonin Broi @antoninbroi.bsky.social · 27/09/2026

Sur le rationalisme : le texte de Duncan est instructif, mais exagéré sur certains aspects. Et franchement je trouve qu'il y a peu de d'éléments qui soutiennent l'idée d'une secte (même ses liens sur les "leavers" sont pas du tout des exemples criants, j’étais presque déçu haha)

100

Antonin Broi @antoninbroi.bsky.social · 27/09/2026

Merci beaucoup pour ta réponse, j’apprécie vraiment. Quelques réponses :  Bostrom : Ta définition de pseudo-science n’est pas standard, mais surtout : beaucoup de chercheurs ont un fort engagement à gauche en SHS, j'ai l'impression que ta définition implique qu'ils font aussi de la pseudoscience.

110

Antonin Broi @antoninbroi.bsky.social · 27/09/2026

Pourquoi pas, mais c'est une explication assez spéculative (et je pense tirée par les cheveux). Surtout, à ce compte-là on voit de la théorie du complot partout parce qu’on peut fournir ce genre d'explication pour à peu près toutes les grandes idéologies politiques, non ?

100

Antonin Broi @antoninbroi.bsky.social · 27/09/2026

Merci pour le lien, je vais regarder ça ! Quasi personne n’utilise le mot secte pour désigner les groupes qui satisfont ta définition (par ex les végans, des groupuscules gauchistes, etc.), à part pour les calomnier. Donc vouloir utiliser le mot secte dans ce sens me semble être super problématique.

000

Antonin Broi @antoninbroi.bsky.social · 27/09/2026

..et même un texte qui se veut un peu "rentre-dedans" ou pamphlétaire ne devrait pouvoir y échapper, sinon c'est la porte ouverte à n'importe quoi.

100

Antonin Broi @antoninbroi.bsky.social · 27/09/2026

..les normes de débat public à respecter, je tends à être particulièrement à cheval sur la vérité des détails factuels (parce que c’est souvent le minimul sur lequel on peut réussir à se mettre d’accord !),..

100

Antonin Broi @antoninbroi.bsky.social · 27/09/2026

Et pareil pour une secte : on ne peut pas utiliser ce terme n'importe comment, surtout en France (un pays où l’État est plutôt actif dans la lutte contre les sectes). Ça revient presque à appeler à la criminalisation de tes adversaires politiques. Peut-être qu'on est juste pas d'accord sur..

100

Antonin Broi @antoninbroi.bsky.social · 27/09/2026

Sur Bostrom : Je suis d'accord que le terme "pseudo-scientifique" est un peu vague donc laisse pas mal de marge de manœuvre sur comment on l'applique, mais pour le cas de Bostrom je ne vois pas selon quelle définition raisonnable de "pseudo-scientifique" on peut le qualifier de tel.

100

Antonin Broi @antoninbroi.bsky.social · 27/09/2026

..selon lesquels le capitalisme parce qu'il permet l'exploitation et l'accumulation sans limite de ressources, va forcément mener à rendre la planète inhabitable. On peut critiquer ces discours, mais le rapport avec les théories du complot me semble très léger.

000

Antonin Broi @antoninbroi.bsky.social · 27/09/2026

Le cas de Yudkowsky, je suis d’accord, est un peu différent parce qu'il met énormément de poids à des arguments a priori, et donc peut paraître moins sensible aux évolutions réelles de l’IA. On pourrait dire que ça ressemble un peu à certains discours écologistes anti-capitalistes..

100

Antonin Broi @antoninbroi.bsky.social · 27/09/2026

Beaucoup d'efforts du côté des doomistes pour s'appuyer sur des faits, tout un travail de veille sur les capacités de l’IA, et une mise à jour de leurs prédictions en fonction des dernières infos, par ex epoch.ai/publications...

epoch.ai

Literature review of transformative artificial intelligence timelines

We summarize and compare several models and forecasts predicting when transformative AI will be developed.

100

Antonin Broi @antoninbroi.bsky.social · 27/09/2026

Je suis vraiment curieux : quels points communs exactement ? On est d'accord qu'il n'y a pas de complot (pas d'explication d'un phénomène comme résultat de l'intention d'un groupe tirant les ficelles), mais aussi : le rapport épistémique à la croyance doomiste est aussi très différent.

100

Antonin Broi @antoninbroi.bsky.social · 27/09/2026

Merci pour ce travail de veille nuancé. On y voit bien la tendance des médias à la décontextualisation et à la recherche du sensationnel.

010

Antonin Broi @antoninbroi.bsky.social · 27/09/2026

Et on a vu exactement la même chose avec l'affaire Orélien. En pratique ça surtout à dénigrer les adversaires politiques : les sujets portés par notre camp sont bien entendu organiques, ceux par le camp adverse sont orchestrés par une minorité puissante.

110

Antonin Broi @antoninbroi.bsky.social · 27/09/2026

Ça me semble super important de rappeler le contexte d'émergence des sujets médiatiques, mais j'ai l'impression que beaucoup de gens opèrent avec une vision binaire ultra simpliste : organique vs. campagne orchestrée. Je ne dis pas que c'est ton cas, mais j'ai lu d'autres réactions qui faisaient ça.

110

Antonin Broi @antoninbroi.bsky.social · 27/09/2026

Bien sûr que ces acteurs agissent souvent de manière stratégique pour diffuser le plus possible leurs idées. En ce sens, ce n'était pas organique, mais dans ce cas, quasiment aucun sujet n’est "organiquement" mis à l'agenda médiatique.

100

Antonin Broi @antoninbroi.bsky.social · 27/09/2026

J'ai du mal à comprendre exactement quelle option alternative est envisagée. Une campagne de bots diffusant son tweet? Sa démission ne sort pas de nulle part, tout un écosystème de gens défendent les mêmes idées et l'ont soutenu (y compris en proposant les services d’une agence de com apparemment).

100

Antonin Broi @antoninbroi.bsky.social · 23/09/2026

5 Une question que je me pose : se dirige-t-on vers un système d’édition scindé en 2 avec une partie sans IA qui serait plus valorisée, ou bien vers un système plus mélangé, qui laisserait plus de place et de prestige à des auteurs humain-IA? Pour l’instant, on se dirige plutôt vers le 1er.

030

Antonin Broi @antoninbroi.bsky.social · 23/09/2026

Et vu les gains financiers à utiliser l’IA, j’imagine que les maisons d’édition moins prestigieuses et plus commerciales vont plutôt embrasser l’IA sans trop se poser de question.

210

Antonin Broi @antoninbroi.bsky.social · 23/09/2026

Le gros défi sera l’implémentation. Avec peu de moyens de contrôle et de fortes incitations à l’utiliser côté auteurs, garantir une littérature sans IA nécessiterait des normes intériorisées très fortes (et probablement un climat de suspicion exacerbé !).

230