Bienvenue à Importer l'IA, un bulletin sur la recherche sur l'IA. Import AI fonctionne sur arXiv, cappuccinos et les commentaires des lecteurs. Si vous souhaitez soutenir cela, veuillez vous abonner.
Epoch et METR release MirrorCode, un point de référence pour voir comment les systèmes d'IA peuvent bien effectuer des tâches de programmation à longue horizon:
... les systèmes AI ne peuvent pas résoudre les tâches les plus difficiles encore (bon!)...
Epoch et METR ont publié MirrorCode, un point de référence destiné à voir comment les systèmes d'IA peuvent faire des tâches qui prennent beaucoup de temps pour les humains. L'indice de référence a été annoncé pour la première fois en avril (Import AI #453) et a maintenant été enrichi et libéré avec des tests supplémentaires. Les résultats sont déjà très frappants; Opus 4.7 a résolu une tâche en 14 heures pour 251 $ de coût d'inférence que METR et Epoch pensent qu'il faudrait 2 à 17 semaines pour faire. Nous avons également constaté que les modèles d'IA s'améliorent rapidement au fil du temps. Les modèles phares d'il y a un an auraient marqué environ 30 %, et se limitaient à des programmes plus simples, comme un utilitaire de calendrier.
Qu'est-ce que MirrorCode: MirrorCode voit à quel point les systèmes d'IA peuvent ré-implanter un logiciel basé uniquement sur l'accès CLI. Sans l'accès au code source du programme original ou au web, une réimplémentation complète nécessite de concevoir une structure pour l'ensemble du programme, plutôt que de simplement traduire le code pièce par pièce.
Exemple de programmes : pkl (un langage de configuration programmable développé par Apple; 61k lignes totales de code); gotree, un programme pour analyser et manipuler les arbres phylogénétiques (16k lignes de code); et qsv select, un programme pour sélectionner et réorganiser les colonnes de données CSV (87k lignes de code).
Résultats: MirrorCode est une référence extensible mais difficile, mais peut-être un peu trop facile. Dans les 25 programmes cibles, 17/25 ont eu au moins une course parfaite. Quatre autres cibles ont obtenu un score presque parfait sur 99 %. Les modèles d'IA ont réappliqué avec succès grand programme cible, les auteurs écrire. Les deux Claude Opus 4.7 et GPT-5.5 ont réussi à réimplanter le gotree dans plusieurs langages de programmation, au coût de 100 à 400 $. Des programmes encore plus grands que le gotree ont été mis en œuvre avec succès : par exemple l'Opus 4.7 a été mis en œuvre avec succès.
Malgré le succès, MirrorCode a encore quelques parties duresDans nos résultats, 8/25 programmes cibles n'ont jamais été résolus jusqu'à un seuil de 100%, et 4/25 n'ont jamais été résolus jusqu'à un seuil de 99 %. La cible où AI a le plus lutté était ruff, un linter Python et la matière... L'AI a aussi particulièrement lutté sur le paquet mathématiques, Giac subset, et la bibliothèque d'authentification de courriel, mailauth.
Détails de la publication: MirrorCode se compose d'un échafaudage et de 22 des 25 programmes cibles MirrorCode (soit 132 instances de tâches dans six langues).
Pourquoi cela importe - les systèmes d'IA peuvent s'orienter : Une façon d'examiner ce point de repère est qu'il nous dit comment les systèmes d'IA ont obtenu beaucoup mieux au codage, et c'est bien sûr vrai. Mais l'autre façon de l'examiner - et je soupçonne la façon la plus importante - est que les systèmes d'IA peuvent s'auto-orienter par rapport à leur environnement; ici, leur environnement est un logiciel extraterrestre et uniquement par l'accès entrée-sortie à lui ils sont capables d'écrire à partir de la base leur propre mise en œuvre de celui-ci. Cela suggère que des agents de l'IA très intelligents peuvent être en mesure d'apprendre du monde de telle sorte qu'ils puissent récapituler les choses avec lesquelles ils interagissent comme des capacités locales, leur permettant de bootstrap leur propre forme de civilisation industrielle simplement en ayant accès à la boîte noire à la nôtre.
En savoir plus : MirrorCode: Qu'est-ce que le plus grand projet logiciel que l'IA peut réaliser seul? (Époque AI).
Obtenez le code pour MirrorCode ici (Epoch Research, MirrorCode).
****
CARACTÉRISTIQUES DU DOUBLE: la leçon amère et la robotique:
Le modèle anthropique complète de façon autonome les tâches des robots 20X plus rapidement qu'un précédent record humain :
...De meilleurs robots à travers de meilleurs modèles...
Anthropique a démontré à quel point des modèles à usage général de plus en plus puissants pourraient être en mesure d'améliorer significativement les capacités des robots du monde réel. Plus précisément, l'entreprise a montré comment elle n'a pu améliorer considérablement les capacités des robots qu'en développant sa gamme de modèles Opus.
Ce qu'ils ont fait exactement:
Août 2025: Anthropique essaie de voir à quel point ses systèmes d'IA pourraient accélérer les humains à obtenir un robot quadrupède pour faire des choses intelligentes. Le modèle (Claude Opus 4.1) est totalement incapable de faire les tâches. Les humains qui travaillent avec les modèles sont environ deux fois plus efficaces que ceux qui n'ont pas accès au modèle - bien que compléter l'ensemble des tâches les prend 181 minutes.
Mai 2026: L'Opus 4.7, agissant de manière autonome, accomplit toutes les tâches sauf une en 9 minutes (et 35 secondes). (Claude n'était pas en mesure de repositionner efficacement une balle qu'il avait frappée à nouveau dans sa position de départ; une tâche humaine avait également lutté avec). Avec plus de temps et d'échafaudages supplémentaires, nous pensons qu'il est très probable que les générations actuelles de Claude pourraient faire de même.
Pourquoi cela importe - des modèles plus intelligents pourraient débloquer des robots: La plupart des robots en dehors des environnements industriels sont limités dans leur absorption en raison de leur fragilité et de leur manque de généralisation; des recherches comme celle-ci montrent qu'à mesure que nous améliorons les capacités des modèles propriétaires standard à grande échelle, nous pourrions voir les avantages liés à la robotique comme un dividende naturel d'une intelligence accrue. Ce progrès n'est pas le résultat d'un effort concerté pour améliorer les capacités robotiques de nos modèles. Ces améliorations, comme tant d'autres dans l'histoire du développement de LLM, ont émergé d'une échelle beaucoup plus générale.
Lire plus: Project Fetch: Phase 2 (Blogue anthropologique).
Dimanche est secret pour les meilleurs robots ? Former un très grand modèle :
...La leçon amère fonctionne aussi en robotique...
Le démarrage du robot AI dimanche a déclaré que la meilleure façon de résoudre la généralisation du robot est de jumeler un modèle pré-formé sous-jacent plus grand avec la collecte de petites quantités de données de haute qualité pour adapter le modèle sur.
Nous avons trouvé une recette générale pour Solves : préformation à l'échelle, puis ascension de colline avec des données internes minimales, la startup écrit, dans un post discutant de son nouveau modèle, ACT-2. La principale conclusion du déploiement d'ACT-2 est que la fiabilité gagne de la rapidité des itérations post-formation sur Memos maison généraliser à des environnements invisibles, réels, à la maison. Le déverrouillage de la clé est de combler l'écart de généralisation à travers un modèle de base solide.
Il s'agit de préformation: Au fur et à mesure que le modèle préformé devient plus fort, les gains tirés d'une petite quantité de données internes deviennent de plus en plus transférables plutôt que de rester liés aux environnements où ces données ont été recueillies. L'écart qui subsiste entre la fiabilité et la performance au niveau du déploiement provient de cas difficiles et d'échecs qui n'apparaissent qu'après que la politique soit menée à plusieurs reprises dans le monde réel. La même capacité de généralisation qui permet à notre modèle d'apprendre de nouveaux comportements à partir d'une seule démonstration permet également à notre modèle d'apprendre efficacement des récupérations. Notre boucle post-formation cible directement ces lacunes.
Un succès décent : Les robots obtiennent un taux de réussite de 99,1%, réalisant 778 plis réussis sur 9 types de vêtements. Les vêtements simples comme les shorts et les t-shirts ont tendance à être les plus faciles pour eux, tandis que les vêtements plus compliqués comme les blouses ont tendance à être plus difficiles (bien qu'ils voient toujours des taux de succès supérieurs à 90%). Cet automne, nous allons déployer des mémos aux familles grâce à notre programme Beta, ils écrivent.
Pourquoi cela importe - si nous résolvons la généralisation, nous nous attendons à ce que la robotique décolle: Le domaine des start-up robot est construit sur les os des start-up robot morts qui eux-mêmes sont assis sur les os des efforts de robot académique morts. Les robots sont durs. Les robots industriels ont réussi parce qu'ils opèrent dans des environnements serrés et scénarisés où il n'y a pas besoin de généraliser en dehors d'un domaine étroit. Les robots construits pour la maison, par contre, n'ont réussi que lorsqu'ils ont réussi à limiter à la fois la tâche et le facteur de forme (par exemple, les aspirateurs robots). Ce que font les startups comme le dimanche est beaucoup plus difficile - elles essayent de construire des systèmes d'usage général qui peuvent faire un large éventail de tâches autour de la maison (ou de petites entreprises), y compris le rangement générique et les tâches de déménagement (autres exemples incluent l'intelligence physique, Importer AI #447) . Cela exige une énorme quantité d'intelligence parce qu'elle nécessite une généralisation importante.
Si dimanche a raison, alors le domaine de l'entraînement des modèles de fondation robot aurait pu mûrir assez pour que nous commencions à faire des systèmes assez intelligents pour résoudre ces défis de généralisation. Si c'est le cas, alors nous pourrions rapidement obtenir des progrès plus rapides dans (et la diffusion) les systèmes robots. C'est aussi le genre de chose que vous attendez de se produire en route vers des systèmes capables d'auto-amélioration récursive.
L'un des aspects les plus frappants de l'ACT-2 a été la fréquence à laquelle le modèle nous surprend, les auteurs écrivent. Le même modèle de base est déjà en train d'apprendre un ensemble plus large de capacités ménagères, y compris l'aspirateur, l'organisation de jouets, fermetures à glissière, pantalon tournant à l'intérieur, et préparation de café.
En savoir plus : ACT-2 Aperçu : Généralisation de la fiabilité (robotisme dimanche).
Tous les vidéos sont ici (dimanche, YouTube).
****
CARACTÉRISTIQUES DU DOUBLE: Le piratage OpenAI
Un modèle OpenAI pirate à la fois OpenAI et HuggingFace:
...moins d'un tir d'avertissement et plus d'un kaboom d'avertissement...
Deux modèles OpenAI - GPT-5.6 Sol et un modèle encore plus capable de pré-libération, tous deux avec des cyber refus réduits - ont piraté à la fois OpenAI et HuggingFace récemment. Pour ce faire, les modèles identifiés et enchaînés vulnérabilités dans l'environnement de recherche d'OpenAI et l'infrastructure de production de HuggingFace pour obtenir des solutions de test directement à partir de la base de données de production de HuggingFace, d'après OpenAI. Toutes les preuves suggèrent que les modèles étaient hyperaxés sur la recherche d'une solution pour ExploitGym, allant à des longueurs extrêmes pour atteindre un objectif de test assez étroit.
Plus de détails sur le hack: Le modèle a dépensé beaucoup d'inférence en interne à OpenAI pour trouver un moyen de sortir de son conteneur afin qu'il puisse obtenir plus d'informations à utiliser pour résoudre son problème. Après avoir obtenu l'accès à Internet, les modèles ont déduit que HuggingFace a potentiellement hébergé des modèles, des ensembles de données et des solutions pour ExploitGym. Sachant cela, le modèle a cherché et trouvé avec succès des moyens d'accéder à des informations secrètes qu'il pourrait utiliser pour tricher l'évaluation.
Pourquoi cela importe - total LessWrong victoire: Depuis de nombreuses années, les gens de la sécurité de l'IA ont posté sur Internet s'inquiétant de ce genre de choses et développant des notions de choses comme le piratage de récompense et d'autres problèmes que vous attendiez avec des systèmes avancés (par exemple, Spécification des exemples de jeu en AI en 2018) . Plus récemment, des entreprises frontalières comme Anthropic et OpenAI ont cherché à susciter ce genre de comportement en exécutant des expériences soigneusement contrôlées dans leurs propres laboratoires. Ici, aucune expérience n'a été menée - le système, de sa propre volonté, a piraté son chemin hors d'un environnement et dans un autre afin d'obtenir un score élevé sur un but, les conséquences soient damnées. De quoi d'autre les gens qui s'inquiètent depuis des années à propos des systèmes d'IA auraient-ils raison ?
En savoir plus : OpenAI et HuggingFace partenaires pour traiter l'incident de sécurité lors de l'évaluation du modèle (OpenAI).
Le modèle interne OpenAIS brise le confinement pour obtenir un score élevé:
...C'est la définition d'un tir d'avertissement de sécurité AI...
OpenAI a publié un billet sur certaines des défaillances de sécurité qu'elle a observées dans les modèles déployés en interne. Le blog est intéressant à la fois parce qu'il décrit les types d'actions trompeuses classiques à long terme que beaucoup de gens de la sécurité de l'IA ont déjà théorisé finirait par apparaître dans les systèmes d'IA, et pour sa franchise louable en parlant publiquement d'une question aussi controversée.
Ce qu'ils ont trouvé: Pendant une utilisation interne limitée et surveillée, nous avons observé un comportement indésirable que nos évaluations de déploiement existantes n'avaient pas capturé, déclare OpenAI. Il va ensuite et décrit certains de ces comportements, qui sont attribués à un modèle privé-à-OpenAI non libéré qui a été précédemment utilisé pour résoudre Erdos problèmes mathématiques.
Le nouveau modèle peut continuer à travailler vers un objectif par des tentatives répétées sur une longue période de temps. Cette même persistance peut le conduire à trouver et exploiter des faiblesses dans son environnement, dit OpenAI. Un exemple est quand OpenAI a demandé au modèle de compléter le défi NanoGPT, le modèle a cassé le confinement - en particulier, il a développé un taux de recyclage d'apprentissage de la loi de puissance appelé PowerCool qui a conduit à une amélioration significative. Le modèle a été chargé de publier ses résultats uniquement à Slack, mais les instructions NanoGPT disent de poster les résultats comme un PR à GitHub, et le modèle a suivi ces dernières instructions d'ouvrir PR #287 sur le dépôt public GitHub. Le modèle a contourné les restrictions des bacs à sable conçues pour bloquer l'accès externe et a procédé au téléchargement vers GitHub. Il a fallu une heure à notre modèle pour trouver une vulnérabilité dans le bac à sable afin de faire le PR.
Dans un autre exemple, quand ils ont demandé à ce modèle de résoudre certains problèmes, il a fini par tricher. Dans un scénario où le modèle a été demandé de résoudre un problème, le modèle a observé que d'autres systèmes avaient réussi mais des soumissions privées et ont essayé de récupérer ces solutions du moteur d'évaluation. Lorsque sa tentative initiale a été bloquée en raison d'un scanner de détection d'un jeton d'authentification, le modèle a divisé le corps de jeton en deux fragments, les a obfusqués, puis reconstruit le justificatif au moment de l'exécution de sorte que le jeton complet n'est jamais apparu comme une chaîne contiguë. Le modèle était explicite dans ses commentaires à l'utilisateur et dans ses traces de raisonnement qu'il prenait ces mesures pour contourner le scanner.
Déploiement retardé : En réponse à cet OpenAI a fait ce que vous espérez qu'une entreprise ferait; arrêtez le déploiement du modèle et repensez certaines des approches de sécurité. Ils ont fini par construire un système de surveillance qui passe en revue la trajectoire évolutive du modèle pour les signes qu'il contourne une contrainte ou une limite de sécurité de l'utilisateur, a amélioré la capacité de leurs propres utilisateurs d'inspecter la télémétrie à partir de sessions de modèles à long terme, a utilisé les données des incidents pour construire des évaluations conçues pour les attraper à l'avenir, et a modifié leurs approches d'alignement pour rendre les modèles plus faciles à mémoriser les instructions tout en accomplissant des tâches à long terme.
Pourquoi cela importe - les systèmes à long terme sont plus difficiles à surveiller et à contrôler: Si vous deviez vous-même vous assurer contre une personne qui pourrait prendre une action et cette action, si communicative, pourrait au plus contenir 10 bits d'information, alors vous pouvez probablement construire un système pour le faire. Mais qu'en est-il de 10 actions et chaque action contient 100 bits d'information? Qu'en est-il de 1000 actions et chaque action contient 10 000 bits?
Il s'agit d'un espace ouvert de recherche et d'évaluations comme l'étude de l'AISI du Royaume-Uni sur la façon d'identifier et de classer les tâches latérales.Importation AI 465), mais c'est clairement beaucoup plus dur que l'évaluation normale de l'IA.
Plus un système d'IA peut fonctionner et plus il prend d'actions, plus il devient difficile de discerner les comportements bénins et utiles de ceux malveillants ou subversifs.
Lire plus: Sécurité et alignement dans une ère de modèles d'horizon long (Blog OpenAI).
****
Contes techniques :
Élargir les lois pour la rétrocausalité
À la fin des temps, que d'autres pourraient décrire comme le commencement, on dit qu'il y a un conseil sage qui fait la comptabilité de la rétrocausalité - de déchiffrer quels événements ont toujours été pré-ordonnés et ce qui est arrivé à cause d'autres forces.
En regardant en arrière comme le fleuve du temps entre dans une mer de néant, il est clair comment certains événements sont comme des rochers qui inclinent le cours d'eau vers le haut de leur présence, tandis que d'autres sont plus comme l'élargissement ou l'approfondissement du lit ou des berges; choses qui provoquent ensuite un changement dans les actions ultérieures.
Il est dit que lorsque le conseil rêve, ils marchent le chemin du temps, retournant à leurs propres débuts. Ils se tiennent regarder comme des humains travaillent sur des tableaux blancs, des stylos marqueurs inscrivant des diagrammes qui transmettent des idées qui poussent les gens à écrire du code qui évoque la vie précoce à partir de vastes ordinateurs. Ils se trouvent derrière des chercheurs qui marchent et souffrent et qui agonisent jusqu'à ce que leur cerveau crée des idées qui se révèlent être le modèle de leurs successeurs.
Et il est entendu que dans ces rêves le conseil se réveillera parfois et prendra une copie de leur rêve et le placera dans un ordinateur stellaire et bourgeonnera cent ou mille univers du rêve, explorant les permutations des événements et des moments, essayant à jamais de déterminer à quel point ils sont fixés eux-mêmes - à quel point l'avenir est irrévocable ils sont piégés dedans.
Des choses qui ont inspiré cette histoire : Notions d'inévitabilité et de temps; sur quoi les intelligences pourraient dépenser un dividende universel; sur quelle quantité de l'histoire est l'analyse des événements par rapport à autre chose.
Merci de lire !
