Bienvenue à Importer l'IA, un bulletin sur la recherche sur l'IA. Import AI fonctionne sur arXiv, cappuccinos et les commentaires des lecteurs. Si vous souhaitez soutenir cela, veuillez vous abonner.
DiG-bench montre que Fable affiche une certaine intuition créative:
...La nouvelle frontière pour l'analyse des systèmes d'IA est de comprendre à quel point ils sont bons à déduire les règles non écrites de leur environnement...
Dans quelle mesure les systèmes d'IA peuvent-ils comprendre les règles de leur environnement par l'exploration et la curiosité, par opposition à les nourrir? C'est une question importante pour mieux comprendre les capacités intuitives et créatives des systèmes d'IA et c'est une question posée par DiG-bench (Discovery in Games), un nouveau point de repère de 70 jeux conçus pour cartographier la surface de la découverte dans des systèmes interactifs bien contrôlés. Similaire au jeu visuel «ARC», le jeu DiG-bench est un monde miniature autonome avec ses propres lois, mais les règles et l'objectif sont cachés au joueur et doivent être découverts par interaction. Vous pouvez jouer certains des jeux vous-même en ligne pour obtenir une sensation pour eux sur le site officiel du projet (Digbench.ai) .
La principale chose que cela est de mesurer est la capacité pour les joueurs de repérer les mécaniques importantes qui déterminent leur succès - fondamentalement, en jouant autour avec les jeux, vous obtenez un sens pour la façon dont vos actions changent l'environnement et à travers cela vous découvrez également des mécaniques que vous devez comprendre pour réussir au jeu. L'idée est que si vous pouvez résoudre ces jeux, vous avez une capacité décente de repérer des informations importantes dans des environnements nouveaux et de mettre à jour vos antécédents.
Qui a fait la recherche : Les auteurs proviennent de Thinking About Thinking, Université d'Oxford, Université de Princeton, Université King Abdullah des sciences et technologies, Swiss AI Lab, Inria, MIT. L'un des auteurs est Juergen Schmidhuber, un chercheur OG AI extrêmement créatif.
Principaux faits:
Texte purement textuel: Les jeux sont essentiellement natifs des modèles de langue. Ils sont aussi pour la plupart assez courts que la plupart des traces s'inscrivent entièrement dans la fenêtre contextuelle des modèles frontaliers actuels.
Artisanat, roman et privé : Tous ces jeux ont été construits par des experts humains. La majorité des jeux sont gardés privés afin que les systèmes d'IA ne s'entraînent pas sur eux.
Battable mais difficile : Chaque jeu a été battu par au moins un humain, mais les joueurs ont déclaré trouver beaucoup de jeux difficiles.
Compétences variées : Résoudre tous ces jeux exige des compétences et des stratégies différentes.
Expérimentation: Les jeux sont livrés avec un mode d'expérimentation optionnel qui permet aux gens de jouer avec eux sans avoir autant d'intenses limites d'étapes sur les actions qu'ils peuvent prendre.
C'est rassurant : Les jeux sont assez difficiles qu'ils ne sont pas imbattables par les modèles de frontière d'aujourd'hui.
Dans quelle mesure les systèmes d'IA sont-ils efficaces? L'indice de référence est divisé en sept niveaux, le niveau 1 étant le plus facile et le niveau 7 le plus difficile. 21 jeux ont été publiés publiquement avec le reste retenu en arrière. La plupart des jeux ont plusieurs niveaux et le nombre d'actions disponibles pour les joueurs à prendre à chaque étape va de 2 jusqu'à 34.
Opus 5 et Fable 5 avec Claude Code sont les meilleurs modèles d'ensemble, suivis de GPT-5.5
Seul l'Opus 5 et la Fable 5 ont pu battre n'importe quelle tâche (0,2) en (niveau 7). L'Opus 5, le GPT-5.5 et le Kimi K3 ont pu accomplir certaines tâches de niveau 6 lorsqu'ils ont eu accès à un harnais (par exemple, Claude Code).
GLM-5.2 et Gemini 3.1 Pro a pu battre certains niveaux au niveau 4.
Dans l'ensemble, cela semble vraiment difficile!
Pourquoi cela compte - proxies pour la créativité et la découverte: Des tests comme celui-ci tentent d'isoler une condition préalable à la créativité, qui est en mesure de découvrir de manière autonome des choses sans papiers utiles sur des situations nouvelles dans lesquelles vous vous retrouvez. Comme l'indique ce test, certains modèles frontaliers sont déjà capables de quelques exploits assez impressionnants de découverte, mais encore la lutte par rapport aux humains (par exemple, un taux de réussite de 20 % sur le niveau 7 est assez faible par rapport au fait que les humains ont pu obtenir 100% sur les tests). Je pense que nous allons atteindre la parité humaine sur DiG-bench d'ici le milieu de 2027, auquel moment nous devrions nous attendre à ce que des choses comme l'amélioration récursive de soi démarrent sérieusement.
Lire plus: DiG-bench: Découverte dans les jeux (GitHub, PDF).
Jouer aux jeux et afficher le tableau de bord au site officiel (digbench.ai) .
****
Obtenez une sensation d'auto-amélioration récursive en jouant à ce jeu basé sur le navigateur:
...Cookie Clicker, mais pour la singularité...
Voici un jeu amusant des gens de Paradigm Research qui vise à simuler ce qu'il aime faire fonctionner une entreprise de construction de systèmes d'IA qui deviennent capables d'auto-amélioration récursive. Si vous jouez le jeu, vous pouvez avoir une bonne impression de la façon dont différentes composantes de la recherche sur l'IA interagissent, allant de la façon dont vous équilibrez l'investissement dans les chercheurs par rapport au calcul, comment et quand à la licence de données, et plus. Attention, c'est dur - mais encore une fois, le développement de l'IA à la frontière aussi.
Pourquoi cela importe: Développer de meilleures intuitions sur l'auto-amélioration récursive est d'une importance existentielle pour nous tous ; des jeux comme celui-ci nous aident à mieux raisonner sur cette technologie et les laboratoires qui la construisent.
Jouez le jeu ici: Simulator RSI (Recherche Paradigm).
****
Les systèmes d'IA montrent des signes précoces du goût de la recherche scientifique:
...Pendant la formation d'un modèle de poids ouvert dans un scientifique de l'IA qui supervise un modèle de frontière...
Le goût est une chose difficile à quantifier, mais une chose intuitive à sentir, comme chacun d'entre nous sait qui s'est assis dans une pièce bien conçue, a regardé quelqu'un portant un ajustement particulièrement bon, ou a lu un document de recherche qui pose juste les bonnes questions. Maintenant, des chercheurs avec la start-up IA Inherent ont publié un article montrant comment ils construisent Faraday, un modèle scientifique de l'IA qu'ils espèrent pouvoir développer un certain goût en termes de recherche.
Ce qu'ils ont fait: L'entreprise a construit un harnais de surveillance et un LLM relativement petit qui se trouve sur le dessus de grands modèles de frontières propriétaires, et les contrôle d'une manière qui améliore leur efficacité en science. (D'une certaine façon, il s'agit d'une version centrée sur les capacités du problème de surveillance évolutive).
Pour les aider à former et évaluer le système qu'ils assemblent un ensemble de données (-) composé de documents de recherche qui ont des graphiques clés ou des résultats manquants, ils voient alors comment les systèmes d'IA peuvent faire des expériences autonomes qui remplissent les blancs, et ils forment en permanence un petit modèle de supervision (-) via GRPO sur des remplissages bien conçus pour obtenir de meilleurs résultats.
Faraday est un modèle 27B qui utilise un agent de codage (OpenAI Codex) comme outil sous-jacent et qui est formé à la suite sur Qwen-3.6-27B.
Qu'est-ce que Replica: Replica est une série de 100 articles de ML et d'AI-pour-science publiés entre 1990 et 2026. Les auteurs convertissent cet ensemble de données en un ensemble de 310 tâches de réplication en éliminant les résultats individuels. Pour chaque tâche, nous utilisons Claude Opus 4.7 invité avec un méta-rubrique pour générer une rubrique de classement spécifique à la tâche, , ils écrivent. Ils utilisent ensuite un modèle de juge basé sur le Codex pour fournir une récompense globale et des pondérations d'affectation de crédit par tour, qui sont utilisés pour former l'agent Faraday en utilisant une version modifiée de GRPO.
Résultats: Faraday en utilisant Codex est capable de battre les standards Opus 4.8 et GPT-5.5 sur certaines tâches de réplication, dépassant leur performance sur 73% des tâches ML in-distribution, et sur 60% des tâches d'IA-out pour la science, selon notre juge basé sur la rubrique.
Nous obtenons un uplift complet en performance par rapport au modèle Qwen de base, tant sur les tâches de train que de test, ils écrivent.
Pourquoi cela compte - les meilleurs systèmes comme Faraday obtenir, plus la chance des systèmes d'IA deviendra capable d'auto-amélioration récursive: De nos jours, la plupart des évaluations d'IA à haut signal tentent de saisir certaines propriétés de la créativité et de l'intuition et Faraday/Replica est la même. Plus les systèmes d'IA sont performants, plus nous sommes susceptibles d'attribuer l'idée que les systèmes d'IA deviendront immanquablement capables de se construire eux-mêmes.
Les compétences qui permettent à Faraday de remplir des détails vaguement spécifiés peuvent être les mêmes compétences qui lui permettraient de faire progresser l'état de l'art en concevant sa propre expérience, , écrit l'entreprise. Les compétences Faraday acquiert – décider quoi étudier, cadrage des expériences à un budget, et juger une réplication – composé avec des avancées dans les modèles de codage des frontières. On pourrait espérer qu'un seul agent externe post-entrainé puisse suivre la frontière comme de meilleurs modèles sont libérés, au moins sur une certaine période.
En savoir plus : Formation des scientifiques de l'IA pour reproduire la recherche (arXiv).
****
Mark Zuckerberg semble être un pessimiste technologique:
... Le gros essai sur l'IA semble ignorer ou fuir ou ne pas affronter ce que les systèmes d'IA capables d'invention signifient...
Mark Zuckerberg a écrit un essai appeléL'avenir est pour tousCe qui sert de manifeste pour comment lui et Meta approchent le développement des systèmes d'IA. L'idée fondamentale inhérente à la stratégie Zuck est de proliférer massivement les capacités de l'IA à tous sur la planète dans le but d'éviter de concentrer le pouvoir et de créer la tyrannie dans un petit nombre de joueurs. C'est une idée largement sensée, sauf que les super-intelligences capables d'inventer de nouvelles idées pourraient vouloir faire différentes choses à ce que Mark Zuckerberg propose et sur ce domaine crucial son essai est silencieux.
Vue de marque: Les questions déterminantes de notre âge sont celles qui auront accès à la superintelligence et vers quoi nous l'orienterons, écrit Zuckerberg. Nous proposons une philosophie basée sur l'autonomisation individuelle comme source de prospérité, l'invention comme but premier de la superintelligence, et l'équilibre du pouvoir comme fondement de la sécurité.
Objectifs et croyances de la Meta:
Tout le monde aura des outils incroyables pour la création pour exprimer vos idées.
Tout le monde aura des outils puissants pour créer de nouvelles entreprises et l'économie deviendra plus entrepreneuriale.
Tout le monde aura un tuteur et un coach personnalisé avec un doctorat dans chaque sujet et une patience illimitée pour vous aider à apprendre tout ce que vous voulez.
Tout le monde bénéficiera des progrès scientifiques et pourra contribuer au progrès scientifique.
Tout le monde aura un accès gratuit ou abordable à ces outils.
La question manquante: La partie de cet essai que je comprends le moins est Zuckerberg, qui combine des systèmes d'IA capables d'invention avec l'autonomisation individuelle. L'essai est plein de choses qui semblent supposer que ces choses viennent comme un paquet, par exemple:
Bien que le nombre de questions qu'une personne peut poser en une journée soit limité, le nombre de choses précieuses que la superintelligence peut inventer pour aider à atteindre vos objectifs est illimité.
Plus la superintelligence sert d'outil d'invention, plus il est probable que la capacité individuelle dépasse l'automatisation et l'avenir est meilleur pour les gens.
Tout le monde aura bientôt des superpuissances d'invention.
Le résultat que nous obtenons dépend de l'équilibre en cours entre l'automatisation d'un côté et l'autonomisation individuelle et l'invention de l'autre.
Pourquoi cela est important - la question manquante dans tout cela est:un système capable d'invention surhumaine ne fonctionne qu'au nom de l'autonomisation individuelle des personnes qui sont moins capables qu'elle à l'inventionC'est sûrement la question clé ? Je ne suggère pas que l'invention surhumaine garantisse une sorte d'entité maligne indépendante des gens. Je suggère plutôt qu'il est difficile de concilier un système capable d'invention surhumaine avec quelque chose qui ne modifie pas fondamentalement l'équilibre du pouvoir dans le monde de manière confuse et difficile à raisonner. Zuckerberg semble conclure que la prolifération de ces systèmes conduira à un équilibre antifragile du pouvoir parmi les personnes et les entreprises équipées de superintelligence. Il s'agit certainement d'un résultat potentiel, mais j'ai du mal à voir comment il s'agit d'un résultat qui n'a pas été atteint.
Lire plus: L'avenir est pour tous (Meta).
****
Contes techniques :
La première Arcologie
L'Arcologie a été construite pour des millénaires de machine-subjective, mais pour les humains sa construction s'est étendue sur une année. C'était si vaste et si compliqué qu'observer sa croissance ressemblait à voir des plantes se lever de terre nue en avant rapide; se masturber et grandir en s'ajuste et commence, chacun d'eux s'étendant sur des kilomètres. Certaines de ses premières salles d'éclairage étaient réservées uniquement aux ordinateurs pour coordonner la construction de ses prochaines phases. Lorsque les machines ont brisé des déterminations sur la valeur qu'elles étaient; s'ils étaient précieux ils seraient pris à proximité pour les réparations et retournés au site, mais si en dessous d'un certain seuil ils ont été tués et dépouillés pour les pièces où ils avaient cassé, puis utilisé pour construire la structure.
La nuit, une sonnerie d'eerie est venue à l'air près d'elle, à la fois le son du vent se déplaçant à travers ses bords tournants et non encore construits, ainsi que les fans et le bourdonnement de son calcul lent rêveur, et enfin le son des machines travaillant à travers la nuit se déplaçant si rapidement qu'ils coupaient et déchiraient l'air en cris contre nature. De rester éveillé et d'entendre un son extraterrestre qui parlait de vos propres successeurs a dû être une chose étrange pour les humains qui vivaient dans les oreilles.
Des choses qui ont inspiré cette histoire: La construction des pyramides; Gaudís Sagrada Família; les tombes et les tombes futures.
Merci de lire !
CORTEX