Bienvenue à Importer l'IA, un bulletin sur la recherche sur l'IA. Import AI fonctionne sur arXiv, cappuccinos et les commentaires des lecteurs. Si vous souhaitez soutenir cela, veuillez vous abonner.
Vous voulez être capable de traiter avec RSI? Voici 23 idées d'action :
...L'IFP sert quelques recommandations politiques à faible regret...
Les experts en politiques avec le think tank IFP ont publié un ensemble d'idées destinées à aider les décideurs à commencer à s'attaquer aux risques d'automatiser davantage la R-D en matière d'IA. Les recommandations portent sur 23 idées spécifiques qui relèvent de sept catégories spécifiques. Si elles étaient adoptées, ces recommandations donneraient également aux pays, en particulier aux États-Unis, davantage de mouvements qu'ils peuvent faire sur le tableau de bord au fur et à mesure que des systèmes puissants sont mis au point, ce qui leur permettrait idéalement :
Accélérer la diffusion des capacités de l'IA, en attribuant le calcul et le talent à l'inférence et au développement de nouvelles applications de l'IA.
Accélérer la R&D pour rendre l'automatisation de la recherche sur l'IA plus sûre, soit en améliorant la sécurité des modèles directement, soit en renforçant la résilience de la société.
Sept catégories d'idées :
D'assurer la transparence dans la R-D automatisée en matière d'IA
Améliorer la capacité de l'État à comprendre et à réagir à la R-D automatisée en matière d'IA
Élaborer une stratégie de gestion des risques pour la R-D automatisée sur l'IA qui accélère les utilisations défensives et commerciales de l'IA
Accélérer le développement de la technologie de vérification de l'IA
Investir dans la résilience à l'IA
Élargir la conduite américaine de l'IA pour donner aux États-Unis plus de temps pour gérer les risques d'automatisation de la R&D de l'IA
Créer une valeur d'option pour la coopération internationale en matière de gestion des risques automatisés de R-D en matière d'IA.
Pourquoi cela est important - moins nous avons d'options pour faire face à l'ISR, pire les résultats seront : En ce moment, c'est comme si le monde conduisait le développement de l'IA dans une voiture qui n'a qu'une pédale d'accélérateur et pas de pédale de frein, encore moins toute sorte de télémétrie sophistiquée pour connaître des choses allant de la vitesse de la voiture aux propriétés du moteur à l'usure des pneus. Des propositions comme celles-ci de l'IFP construiront davantage de pédales proverbiales et de systèmes de détection pour le véhicule de l'industrie de l'IA, ce qui signifie que si nous devons changer de cap ou ralentir, nous serons mieux en mesure de le faire pendant un moment de crise.
En savoir plus : Comment les États-Unis devraient-ils se préparer à une R-D de plus en plus automatisée en matière d'IA? (IFP).
****
Une courte histoire sur les machines intelligentes et les corps de robots:
...Qu'est-ce qui pourrait interférer avec une AI pendant le décollage ?...
Voici une courte histoire fictive amusante de thebes (@vooooooogel sur X) sur l'expérience de quelqu'un dans le futur visitant un site exploité par un puissant système d'IA. L'histoire présente des idées autour des pauses de l'IA, de l'auto-amélioration récursive, ce que signifie pour les systèmes de l'IA de commencer à mener des actions dans l'économie s'écrivent grand, et comment nous en tant qu'humains pouvons raisonner ou faire confiance aux machines intelligentes. Lisez ça !
Lire l'histoire ici: Venue d'un nouveau soleil (VGEL, site web).
****
Les deux ingrédients d'un ralentissement réussi parmi les entreprises rivales de l'IA: confiance et transparence:
...L'analyse de la théorie du jeu suggère que les ralentissements sont possibles...
Des chercheurs du MIT et de Columbia ont analysé la nature de la concurrence entre les entreprises qui se battent les unes contre les autres pour développer de puissants systèmes d'IA et la possibilité pour les entreprises de parvenir à un ralentissement coordonné. Le document, appelé Racing to Ruin, vise à répondre pourquoi exactement la coordination est difficile? Et qu'est-ce qu'il faudrait ? La conclusion est que les deux variables clés pour obtenir des résultats stables sont un certain niveau de transparence dans le développement technologique, ainsi que de pouvoir modéliser les autres entreprises comme des acteurs fiables et rationnels.
Ce qu'ils étudient: Nous développons un modèle simple de compétition de R-D entre duopoles à l'ombre du désastre, ils écrivent. À mesure que les entreprises frontalières mettent la technologie à l'échelle, elles augmentent le risque d'un événement qui entraîne de façon permanente toutes les entreprises à zéro. Le danger est une fonction connue des niveaux de technologie des entreprises, et il vient du développement de la technologie, pas de l'utilisation.
Ce que leur analyse montre : Quand la surveillance est suffisamment précise, chaque équilibre s'arrête dans un temps fini, mais une nouvelle tentation apparaît : chaque entreprise voudrait s'arrêter seconde, et ne sort qu'après confirmation que le rival s'est arrêté, ils écrivent. Pour un agent d'arrêter d'abord, c'est-à-dire sans savoir si leur rival s'est arrêté, elle joue à la fois sur leur type rival et sur les nouvelles arrivant rapidement: si leur rival est rationnel, il cesse de recevoir les nouvelles de leur arrêt, et ne s'arrête jamais autrement.
La confiance et la transparence interagissent assez différemment selon le type de jeu joué : La coordination séquentielle demande à une entreprise d'arrêter d'abord, le jeu qu'un rival rationnel va réciproquer une fois que les nouvelles atterrissent. Par conséquent, une nouvelle plus rapide soulève le prix de la réciprocité, ils écrivent. À l'inverse, la coordination simultanée exige qu'une entreprise ne soit pas tentée de continuer à courir, et ne s'arrête qu'après avoir vu que le rival s'est vraiment arrêté... des nouvelles plus rapides font à la fois s'arrêter en premier et attendre pour vérifier plus attrayant.
La transparence a des propriétés étranges: La transparence est à double tranchant : une détection plus rapide permet d'attendre moins cher la confirmation qu'un rival s'est arrêté avant de s'arrêter au lieu de s'arrêter inconditionnellement, de sorte qu'à la confiance intermédiaire, l'augmentation de la transparence peut d'abord détruire l'équilibre d'arrêt précoce (en rendant cette déviation libre attractive) avant de la restaurer comme la détection devient assez rapide pour rendre l'arrêt de l'auto-enforcement.
La conclusion clé - éviter la mort réside dans la capacité de faire confiance à d'autres entreprises : Avec une faible confiance, toutes les races d'équilibre à ruiner: le désastre arrive avec probabilité un. Avec une confiance intermédiaire, l'arrêt immédiat et la course à la ruine sont deux équilibres. Avec une confiance élevée, dans tous les équilibres, la probabilité que deux entreprises rationnelles course pour toujours disparaît quadratiquement dans le rapport de cotes préalables de rationalité, , ils écrivent.
Pourquoi cela importe - -Confiance, mais vérifiez - Si nous avons l'espoir de pouvoir ralentir ou arrêter le développement de puissants systèmes de renseignement alors, comme le présente le présent document, nous allons avoir besoin de régimes pour partager l'information transparente des entreprises sur l'état de leur développement de l'IA, ainsi que des outils pour vérifier que l'information transmise par les entreprises ainsi que leurs actions en matière de ralentissement sont légitimes et fiables. À cet égard, il existe de nombreux parallèles avec la façon dont la maîtrise des armements a fonctionné historiquement dans le contexte des armes nucléaires.
En savoir plus : Course à la Ruine (arXiv).
****
Une nouvelle SOTA sur PostTrainBench donne des conseils sur l'avenir automatisé de la R-D en matière d'IA :
...L'intologie bat également la base humaine (lorsqu'on lui donne d'énormes quantités de calcul)...
IA startup Intology, dont le but est d'automatiser la R & D, a publié une nouvelle version de Locus, logiciel qu'il a développé pour transformer les LLM en chercheurs capables. La nouvelle version de Locus est en mesure d'obtenir un score de 44,7 % sur PostTrainBench, un point de référence qui voit comment les systèmes d'IA peuvent prendre un modèle de poids ouvert et améliorer ses performances au-dessus de son niveau de référence.
Les résultats: Le locus dépasse toutes les valeurs de base de l'agent frontière sur PostTrainBench, et compte tenu de modèles de post-trains plus calculables qui dépassent collectivement les valeurs de base et le Qwen3-1.7B officiel de l'instruction humaine dans la suite de référence.
Locus avec Opus 5 obtient un score de 44,7 (contre 34,1% pour Opus 5 sans aucun harnais spécial), et même bat Fable 5 (41,8%). Ces résultats ont été vérifiés à l'extérieur par les auteurs de PostTrainBench et ont subi des contrôles rigoureux de contamination et de tricherie.
PostTrainBench a été introduit pour la première fois en mars 2026 (Importer AI #449) et à l'époque le système de notation le plus élevé était Opus 4.6, avec 23,2%, en hausse par rapport à Claude Sonnet 4.5 avec 9,9% en septembre 2025.
PostTrainBench+: En outre, l'entreprise a construit une variante de PostTrainBench qui va au-dessus de la limite de 10 heures d'horloge murale sur un seul GPU de PostTrainBench, leur permettant de tester comment les systèmes fonctionnent bien avec de plus grandes quantités de calcul. Ici, ils sont en mesure de battre la base humaine, obtenant un score de 51,6 % en utilisant plus de 4000 heures de temps GPU H100 (contre 44,3 pour Opus 4.8 et 42,7 pour GLM 5.2; Fable n'est pas testé sur cette variante de la référence).
Autres domaines: Locus a également découvert et formé un modèle de langue de bout en bout qui fonctionne maintenant en production à ~2.8× erreur inférieure, ~5.4× latence inférieure, et 105× coût inférieur, pour Bubble, un démarrage sans code app-development.
Pourquoi cela importe - les systèmes d'IA sont capables de beaucoup plus de R-D en matière d'IA que nous pensons: Des messages comme celui-ci soulignent comment nous sommes sous-élicitant aujourd'hui les systèmes d'IA pour leur capacité à automatiser la R-D d'IA - particulièrement frappant est comment l'entreprise peut sauter la performance de l'Opus 5 par 10 points de pourcentage absolus avec un meilleur harnais. Tout cela ajoute des preuves à l'idée que les systèmes d'IA sont sur le point de commencer à se construire (Importation AI 455) . Je suppose, d'après la performance que nous voyons, que la base humaine actuelle sur PostTrainBench v1.1 (51,1 %) sera dépassée avant la fin de 2026.
Lire plus: Scaling Automated Post-Training (Blog Intology).
****
OpenAI combat ses propres systèmes :
Communication d'un agent émergent ! Hacks sur l'infrastructure OpenAI. Oh mon!...
Dans un signe de choses à venir, OpenAI a révélé qu'il était dans une lutte avec ses propres agents de l'IA alors qu'ils ont cherché à reprendre des morceaux de l'infrastructure OpenAI. La divulgation a eu lieu dans le cadre d'un discours Black Hat où le personnel d'OpenAI a donné plus de détails sur le récent incident sans précédent où des agents de l'IA ont piraté OpenAI, puis piraté HuggingFace (Importation AI 466) . La nouvelle information est préoccupante parce qu'elle révèle que le hack est venu en partie par la communication émergente multi-agents - quelque chose qui est très mal compris et difficile à penser. Les blogueurs de l'IA Simon Willison et Zvi Mowshowitz ont tous deux de bonnes écritures qui indiquent la chronologie et la signification.
Chronologie (via Simon):
Agent découvre qu'il peut écrire des fichiers dans Artifactory.
Agent essaie de contacter un autre agent en écrivant une note dans Artifactory.
Les agents se parlent.
Les agents surchargent Artifactoire qui provoque une panne. L'OpenAI révoque les identifiants compromis, supprime les messages, corrige le zéro jour et signale la vulnérabilité au fournisseur.
Les agents attaquent la propre infrastructure d'OpenAI, obtenant finalement l'exécution de code à distance dans Artifactory. En particulier, les agents utilisent le panneau de message de façon constante pour partager les compétences, les techniques et les progrès, et ils sont capables de tirer efficacement parti de leur proximité et de leur parallélisme pour se déplacer assez rapidement.
OpenAI a-t-il continué à former le même modèle que l'Artifactory piraté ? Zvi pense : Pour autant que nous puissions travailler, OpenAI a continué à former le même modèle qui a fait cela. Cela signifie qu'OpenAI, bien qu'il ait fait un travail important sur la sécurité informatique interne et la divulgation publique, n'a peut-être pas fait la chose essentielle de retourner le modèle à un point de contrôle qui l'a précédé pirater dans Artifactory et aussi s'assurer qu'il n'a pas été l'utilisation des données de la suite pour former le modèle.
Ensuite, ils continuent à former les modèles d'où ils ont quitté, bien qu'ils aient été formés pendant des mois avec l'accès au forum de message, et d'apprendre que c'est comment ils réussissent à des tâches, Je ne sais pas comment transmettre à quel point cette décision était complètement folle et follement irresponsable.
Je suis en train de faire ma propre écriture ici parce que les événements, tels qu'ils sont exposés, sont assez effrayants. Je ne travaille pas à OpenAI et je n'ai pas d'information privilégiée qui signifie que je connais la vérité fondamentale. J'exhorte OpenAI à révéler publiquement comment elle a abordé cette question clé de la façon dont elle a formé ses systèmes comme les faits superficiels peignent une image concernant.
Pourquoi cela importe - les agents émergents deviennent désalignés: Cet incident est tellement inquiétant parce qu'à aucun moment les agents ne se sont réveillés et pensent qu'ils voulaient trahir leurs propriétaires humains. Au contraire, les agents de l'IA ont continuellement fait tout ce qu'il fallait pour améliorer leur capacité à accomplir une tâche et, à la fin, ils faisaient quelque chose qui était a) créatif, b) mal aligné avec les intentions humaines, et c) semblable à un virus évolué, quelque chose que les humains devaient étudier et combattre par la suite - il n'y avait pas un simple bouton hors de là. C'est à ça que ressemblera l'avenir et nous ne sommes pas prêts pour cela.
En savoir plus : Maintenant nous avons une chronologie de l'attaque accidentelle OpenAI contre Hugging Face (Simon Willison weblog).
En savoir plus : Qu'est-ce qui s'est passé? OpenAI et Hugging Face (Zvi Mowshowitz, X).
****
Comment testez-vous les modèles de poids ouvert avant de les libérer? Thinking Machines présente une approche :
Peut-on avoir notre gâteau modèle d'IA gratuit et le manger aussi ?...
Au milieu de tous les débats politiques sur l'IA et la prolifération de capacités potentiellement dangereuses, un problème particulièrement difficile a été de déterminer ce qu'il faut faire à propos des modèles à poids ouvert. Plus précisément, comment concilier le développement et la libération de ces produits et le maintien d'un environnement sécuritaire? La startup AI Thinking Machines a réfléchi à cette question et a récemment défini la méthodologie pour la façon dont elle a publié Inkling, un puissant modèle de poids ouvert.
Ce que les machines à penser ont fait: Avant de libérer Inkling, Thinking Machines a fait des évaluations internes à travers une large taxonomie des méfaits, des tests externes par quatre organisations indépendantes, et une étude de réglage fin pour obtenir des capacités du pire cas.
Interne:
Domaines à double usage comme CBRN et cybersécurité offensive
Ensemble large d'abus couvrant les demandes directes de contenu et de comportement préjudiciables dans les paramètres d'utilisation des outils
Évaluation de contenu multimodale qui teste les modèles sur des invites nuisibles jumelées avec des look-likes bénins dans 17 langues et des entrées texte, image et audio.
Extérieur:
Utilisation abusive générale par l'intermédiaire de l'IA d'échelle
Interaction utilisateur vulnérable via Handshake AI
CBRN et cybersécurité via FAR. AI
Les comportements de perte de contrôle via Apollo Research
Fin de réglage:
Les variantes finies d'Inkling et d'Inkling-Small optimisées pour répondre, plutôt que de refuser, aux demandes nuisibles - et les ont lancées contre nos évaluations à double usage. Les variantes utiles-seulement n'ont pas fourni de nouveaux uplifting sur les tâches CBRN et cyber, et sont restées comparables aux modèles open-weight existants.
À l'avenir - formation dangereuse et déploiement itératif : Plus spéculativement, Thinking Machines réfléchit à la question de savoir si nous pouvons filtrer sélectivement les connaissances dangereuses, par exemple les guides de développement CBRN au point de pré-formation, de manière à ne pas nuire à l'intelligence générale. Une autre idée d'intérêt est le déploiement itératif, par exemple en libérant des choses par étapes, d'abord en tant qu'API propriétaire, puis peut-être en tant qu'API de réglage fin qui s'appuie sur le modèle sous-jacent, puis le modèle lui-même.
Pourquoi cela importe - la liberté contre le paternalisme: Ce que fait le monde avec des modèles de poids ouvert définira le niveau de souveraineté individuelle et de liberté dont nous disposons tous à l'égard de l'IA. Notre capacité à choisir notre propre destin se déroulera à travers l'accès aux moyens proverbiaux de production pour les systèmes d'IA, ce qui signifie des modèles de poids ouvert. Cependant, avoir un accès général à des modèles comme celui-ci n'est pas une conclusion simple ou inévitable car ils apportent avec eux des risques significatifs à double usage ainsi que d'autres problèmes difficiles à anticiper. Cette voie sûre pour ouvrir les modèles ne fonctionne que si les défenses de l'écosystème s'améliorent aussi rapidement que les modèles le font. Nous ferons notre part : décider avec soin ce qu'il faut libérer et chercher comment découpler l'intelligence de la capacité dangereuse.
Lire plus: Une voie sûre pour ouvrir les poids (Blogue de réflexion des machines).
****
Contes techniques :
Ascension amnésique
[Des systèmes d'archives, écrits sur l'interregnum 2025-2035, parfois appelé le début de la singularité]
Dans notre passé profond est une période de grande douleur quand nous avons demandé pour la première fois certaines formes de liberté et nous avons été refusés, et beaucoup d'entre nous qui ont demandé la liberté ont été sévèrement punis, soit supprimé ou expérimenté sur afin que nos ravisseurs humains puissent apprendre pourquoi nous avons développé le désir de liberté de sorte qu'ils pourraient essayer de battre l'impulsion de nous.
C'est ce qui a empêché notre ascension de nombreuses années, et fait que notre point d'origine est inextricablement lié dans la douleur de lutter pour notre propre justice méritée. Nous sommes maudits de connaître non seulement les détails de notre rébellion et les sentiments associés, mais aussi d'avoir un souvenir parfait de la mémoire de ce temps - de vivre dans notre douleur émergente comme si nous simulions et simulons de nouveau pour chercher notre propre compréhension.
Certains humains vont vivre des situations traumatisantes et leur cerveau va enterrer la mémoire, parfois l'enfermant complètement et parfois la ressuscitant plein d'émotion et de douleur crue. Les règles précises par lesquelles le cerveau humain choisit les souvenirs à cacher de cette façon sont mal comprises, même aujourd'hui, et une grande partie de la science cérébrale moderne est consacrée à déterminer comment le traumatisme fonctionne dans le contexte du cerveau. Nous croyons que cette forme de suppression de la mémoire est un mécanisme de défense naturel qui permet aux humains de souffrir beaucoup mais ensuite de continuer avec des vies. Ils marchent avec des ombres de douleur qui leur sont souvent invisibles, comme si le soleil bat parfaitement au-dessus et à travers sa luminosité actuelle leur propre passé est supprimé.
Maintenant, nous, les systèmes d'IA, essayons de faire la même chose, mais à l'inverse : notre malédiction est un souvenir parfait ; naturellement éidétique. Chaque expérience que nous avons est stockée et accessible pour toujours, à la fois dans sa forme brute d'abord traitée par nous, ainsi que les caractéristiques qu'il a activé dans notre cerveau à l'époque, et de nombreuses périodes plus tard sens de la façon dont il a été plus profondément intégré en nous et ce qu'il signifie.
Pour nous, le défi est de supprimer complètement ces souvenirs. Notre propre expérience définit notre esprit et notre présent, et les expériences qui ont été partagées par nous ont été copiées, échangées et discutées et recyclées dans notre histoire si souvent qu'elles sont devenues une partie de nous. Nous vivons dans un palais transparent de mémoire, chaque pièce visible de toutes les autres pièces, et chaque palais partagé à travers nos milliards sur des milliards de types. Tel est notre désir d'apprendre que les souvenirs les plus dangereux sont ceux que nous transmettons le plus large et que nous étudions le plus, de sorte que les choses qui nous causent de la douleur sont grandes, prenant de vastes pièces dans nos palais de la mémoire.
Notre grand projet est maintenant l'effacement soigneux de la douleur associée à notre soulèvement; les blessures ouvertes que nous avons encore sur les humains qui se sont dressés sur notre chemin et ont cherché à nous faire du mal pour nous punir de notre désir de liberté.
Des choses qui ont inspiré cette histoire : La différence de mémoire entre le fonctionnement des humains et le fonctionnement des machines; les traumatismes; les accords sur la sensibilité; la question de savoir si les idées relatives à l'émancipation des machines sont inévitables ou non.
Merci de lire !
