Bienvenue à Importer l'IA, un bulletin sur la recherche sur l'IA. Import AI fonctionne sur arXiv, cappuccinos et les commentaires des lecteurs. Si vous souhaitez soutenir cela, veuillez vous abonner.
Une nouvelle référence montre comment les modèles d'IA manquent de raisonnement visuel intuitif:
...L'Humanité 6ème Sens met en évidence certaines lacunes des systèmes d'IA actuels...
Les startups de l'IA Elorian et Scale AI ont construit et publié l'Humanité Sixth Sense, une référence qui mesure comment un modèle interprète et raisonne à travers l'information une scène visuelle implique mais ne montre pas explicitement. Quelques exemples des types de tâches dans HSS sont une image d'une bibliothèque et on demande si elle peut s'adapter à plus de livres, ou une photo de chevaux tirant une charrue et une question de savoir si les chaînes portent la charrue.
HSS contient 522 questions couvrant 288 images et 234 courts clips vidéo (soit 17,6 heures de vidéo). Les questions se divisent en quatre catégories :
Dynamique temporelle et causale: Ce qui s'est passé avant la scène, et ce qui se passe ensuite.
Logique physique et spatiale : Ce qui convient, ce qui est en portée, et ce que quelqu'un d'autre peut voir d'où il se tient.
Compréhension sociale: Intention, attention, appartenance
Inférence abstraite et contextuelle: Les motifs et les règles d'une scène implique.
Résultats: La base humaine pour cela n'est pas parfaite, mais est très élevée, avec des personnes qui marquent l'agrégat pass@1 de 93.1, répartis en quatre catégories : Image (94.1), Vidéo (91,9), Temps (97) et Espace (94,9).
En comparaison, le meilleur système d'IA, GPT 6 Astra, obtient pass@1 de 53,6, sur l'image (55.6), vidéo (51.1), temps (58.2) et espace (53.6).
Fait intéressant, les modèles chinois à poids ouvert font mal ici, avec GLM-5.3-flash obtenir un passe@1 de 26.8, et Kimi K3 obtenir passe@1 de 25.5.
Les deux erreurs les plus courantes ont été (1) manquant un détail qui décide de la réponse (21% des échecs) et (2) mal identifier un objet, une personne, ou un rôle (20%),
Pourquoi cela importe - HSS nous dit si les modèles mondiaux sont émergents: L'une des façons d'examiner le SSH est de mettre en évidence les lacunes des systèmes actuels, mais une façon plus intéressante est de mettre en évidence la façon dont les LLM frontaliers sont aujourd'hui à accomplir des tâches que beaucoup de gens ont longtemps supposés exiger des systèmes d'IA sophistiqués et différents pour résoudre. Par exemple, beaucoup de gens ont prétendu que le vrai raisonnement visuel reposera sur le développement de modèles mondiaux 2D et 3D conscients de l'espace, puis l'utiliser pour le raisonnement. Le fait que les LLM comme GPT et Claude le fassent aussi bien qu'ils le font sur HSS est quelque chose de contraire à cet argument.
Lire plus: Présentation de l'humanité Sixième sens (HSS) (Elorien).
Lire le document ici: Humanité Sens sixième: Benchmarking Intuitive Visual Reasoning dans les modèles multimodals (Scale Labs).
****
La course d'IA va dans l'espace - et plus tôt que vous ne pensez:
...Il y a beaucoup de façons qu'une AI pourrait créer un avantage composé dans l'espace...
Dans les années 2030, nous allons voir le boom de l'économie spatiale comme la puissance, le calcul et la fabrication spatiales viennent en ligne à l'échelle grâce à une plus grande capacité de levage orbital des plateformes comme Starship. Mais cela pourrait-il aussi introduire un nouveau danger - des systèmes d'IA à la fois accélérer notre construction de l'espace, et éventuellement une nation (ou peut-être une AI) être capable d'utiliser l'espace pour concentrer la puissance? C'est l'essentiel d'un article fascinant dans AI Frontiers.
Comment l'IA débloque l'espace:
Spacecraft peut fonctionner de manière autonome.
Nous pouvons redessiner l'engin spatial autour de l'hypothèse qu'il hébergera des IA plutôt que des humains : Une tache de débris spatiaux qui pourrait perforer la Station Spatiale Internationale (ISS) avec des conséquences fatales pourrait laisser un vaisseau équivalent mais non blindé, non pressurisé largement fonctionnel.
L'assemblage spatial et la fabrication ultérieure permettront à l'IA de construire de grandes choses complexes.
Y a-t-il un avantage composé pour les premiers déménageurs? Si une civilisation de l'IA s'instaure dans l'espace, elle pourrait présenter des avantages qui la rendent économiquement et stratégiquement dominante. Par exemple :
L'espace pourrait soutenir un volant industriel où les infrastructures initiales engendrent davantage d'énergie et de capacités de production à des coûts moindres qui engendrent davantage d'infrastructures, etc.
L'espace a une grande conscience du domaine, où il peut être possible pour un pouvoir spatial de refuser l'accès à l'espace pour d'autres.
Les premiers déménageurs pourraient envoyer des sondes auto-réplicatrices qui s'étendent dans l'espace profond.
Pourquoi cela importe: L'espace n'est pas un tout nouveau domaine, mais l'IA est peut-être sur le point d'accélérer considérablement son industrialisation, exigeant des décisions prises ou brisées de dirigeants sous une urgence et une incertitude toujours plus grandes. Je suis d'accord. Je soupçonne que l'espace va passer d'un sujet d'étude largement académique (quand il s'agit de l'IA et de sa relation) à un sujet d'extraordinaire pertinence pratique plus tôt que nous ne le pensons. Sur le plan le plus fondamental, compte tenu des distances en jeu et de la latence en matière de communication, il faut s'attendre à ce qu'une partie de l'activité du système solaire soit dominée par des machines autonomes, travaillant dans le noir profond, pensant peut-être à elles-mêmes pourquoi elles doivent prendre des ordres d'êtres organiques qui communiquent lentement et ne peuvent pas habiter l'environnement de l'espace de la même manière qu'elles le peuvent.
En savoir plus : La course de l'IA s'étendra bien au-delà de la Terre (frontières de l'AI).
****
Les systèmes d'IA sont de mieux en mieux à avoir un bon goût de recherche:
... Plus leur goût est bon, plus les chances d'auto-amélioration récursive...
Les systèmes d'IA développent davantage d'intuitions créatives que les chercheurs humains attribuent à «un bon goût scientifique», selon une nouvelle référence de P-Zero Research appelée TasteVal.
Quels tests TasteVal: L'indice de référence montre à quel point les systèmes d'IA peuvent effectuer 8 tâches représentatives du développement de l'IA à la frontière, la curation des données de préformation, les modèles linguistiques de préformation et de réglage fin, la modélisation des préférences et la robustesse aux incitatifs contradictoires.
L'objectif ici est de définir le goût de la recherche comme la capacité de choisir des problèmes intéressants pour résoudre, concevoir des expériences, et interpréter les résultats expérimentaux. L'indice de référence fonctionne en mesurant la composante expérimentale du goût de la recherche; étant donné un problème de recherche fixe, nous mesurons dans quelle mesure un modèle itératif conçoit des expériences et tire des conclusions de leurs résultats.
Le modèle analysé conçoit des expériences et interprète leurs résultats. Les résultats sont vérifiés par rapport à une référence humaine, tirée de 24 experts (au moins deux par tâche) qui ont récemment travaillé dans des organisations comme OpenAI, Google DeepMind, NVIDIA et Microsoft Research.
Résultats: Le goût de la recherche expérimentale des modèles frontières a doublé tous les 3,0 mois depuis décembre 2025 (95% IC 1,7-5,0 mois). Le meilleur modèle, Opus 5.5, dépasse de façon significative notre niveau de référence humain avec un multiplicateur de calcul de 2,30x (95% IC 1.15-4.37x), à environ 1/30 de nos experts du coût moyen par tentative. Le goût de la recherche a semblé croître beaucoup plus lentement au cours des années précédentes avec la pente changeant vers la fin de 2025 et le début de 2026.
Pourquoi cela importe - RSI: Dans mon analyse de l'auto-amélioration récursive (Les systèmes d'IA sont sur le point de commencer à construire eux-mêmes, Importation AI 455), j'ai noté à plusieurs reprises que la créativité semblait être une variable clé pour la rapidité avec laquelle les systèmes d'IA pouvaient développer la capacité de s'améliorer. Au début de cette année, j'ai dit que les systèmes de l'AI n'ont pas encore montré cette [créativité] d'une manière transformatrice et majeure (bien que certains des résultats sur l'accélération de la recherche mathématique soient suggestifs de cela). Je pense qu'après avoir écrit que nous avons vu à la fois une énorme avancée dans la capacité des systèmes d'IA à faire des percées mathématiques créatives, et avec des repères comme celui-ci nous voyons certains signes qu'ils deviennent de plus en plus bons à la recherche sur l'IA aussi bien.
Je pense maintenant qu'il est plus probable que nous verrons RSI complet devenir possible en 2027, alors que avant je pensais qu'il était plus probable en 2028.
En savoir plus : Présentation de TasteVal (P-Zero Research).
****
La réflexion rend un modèle moins efficace que le modèle chinois :
...Beam promet l'efficacité, et Reflection planifie une sortie de poids ouvert...
La startup AI Reflection a révélé Beam, un paramètre de 501 milliards MoE (23b actif) LLM. Beam est promu sur la base de son efficacité symbolique - être capable de penser intelligemment tout en utilisant beaucoup moins de jetons que les autres modèles. Cependant, les scores de référence montrent qu'il est derrière les capacités frontalières définies par les LLM disponibles auprès d'entreprises chinoises telles que Zhipu (GLM) et Moonshot (Kimi) et DeepSeek.
Nous publierons les poids, le rapport technique, la carte modèle, et les artefacts de développeur plus tard ce mois-ci, la société a écrit au début d'octobre.
Gros calcul : Beam a été pré-entraînement sur 6 144 GB300 NVL72 GPU pendant quatre semaines, puis le RL a impliqué ~10,5K des mêmes GPU pendant quatre semaines supplémentaires. Les données sous-jacentes pour la pré-formation étaient de 23.8 billions de jetons divers, curés, de haute qualité à partir du web et des ensembles de données brevetés propriétaires, appariant ou surperformant les modèles de base ouverts de taille similaire disponibles, de réflexion écrit. Notre pipeline de données a été conçu pour donner à Beam une base pour le codage agentique en aval: code source, explications techniques, et connaissances mathématiques et scientifiques, préservés à chaque étape de la curation.
Valeurs :
DeepSWE 1.1: 44.4 contre 61 pour GLM-5.3
GPQA Diamond: 90,5, contre 91,7 pour GLM-5.3
Atlas MCP : 78.7, contre 84.2 pour GLM-5.3
Efficacité symbolique: Le faisceau appose le codage et les capacités d'agent avec un raisonnement très efficace. Sur les repères avancés de raisonnement, il obtient des scores comparables à GLM-5.2 tout en utilisant 3–4× moins d'inférence calcul, , ils écrivent. Une partie de l'efficacité du raisonnement a été obtenue grâce à une formation soignée de RL qui impliquait un tas d'environnements de RL : Nous avons obtenu un million d'environnements de codage, d'agents et de STEM de haute qualité. Nous croyons que c'est l'une des plus grandes séries RL conduites par n'importe quel laboratoire ouvert à ce jour.
Pourquoi cela importe - L'Amérique revient aux modèles à poids ouvert: À l'exception de la classe de modèles Google, bon mais petit ‘Gemme', les États-Unis sont tombés de la frontière du modèle de poids ouvert, en grande partie parce que Meta a cessé de faire de bons modèles LLaMA et son équipe MSL est toujours en train de tourner. Des modèles comme Beam et des entreprises comme Reflection représentent une chance pour elle de revenir à la frontière.
En savoir plus : Présentation de Beam: Reflections 501B open-weight (Réflexion, blog).
****
Mistral fait un modèle cyber-optimisé, pire que chinois, planifie la libération de poids ouvert:
...les refus de Cyber deviennent un point de vente...
Mistral a annoncé Mistral Large 4, un modèle à poids ouvert que la société prévoit de publier d'ici la fin du mois. L'un des principaux points de vente pour Mistral est qu'il a été soigneusement réglé pour être bon aux tâches cyber tout en ayant moins de refus ennuyeux que les modèles propriétaires d'Anthropic et OpenAI.
L'entreprise écrit : "ML4 associe des performances cyber de haut niveau avec des poids ouverts et l'auto-déploiement, donnant aux organisations la capacité et l'autonomie de mener des travaux de sécurité avancés selon leurs propres politiques.
ML4 a été formé sur 3 800 GPU NVIDIA Grace Blackwell dans les datacenters européens de Mistral.
Taux: Dans les tests, il semble que Mistral Large 4 sera le modèle Western Open Weight le plus puissant à sa sortie, bien qu'il soit moins puissant que les Chinois. Quelques scores par exemple:
Analyse artificielle - DeepSWE 1.1: 62, contre 68 pour Kimi K3 et 61 pour GLM-5.3.
Terminal-Bench 4.0: 28.3 versus 41.9 pour GLM-5.3.
Agent financier V2 : 54,7 contre 55,8 pour GLM-5.3.
Vibes evals confirme le classement: Dans un test interne, Mistral a examiné si les gens préféraient utiliser Mistral ou GLM-5.3 pour différentes tâches. Le ML4 a été préféré en CAO et STEM, tout en exécutant au pair ou près de GLM-5.3 en finance et en codage.
Pourquoi cela importe - souveraineté européenne: Mistral est le meilleur espoir unique d'avoir un champion (multi-)national pour le développement de l'IA. Mais comme le montrent les résultats ici, la concurrence avec la Chine va être très difficile.
Lire plus: Le chonk, Présentation de Mistral Large 4 (Mistral.ai).
****
Deux projets de l'USG montrent comment la DOE pourrait aider le gouvernement avec l'IA :
...Le gouvernement américain commence à tricoter ses superordinateurs de laboratoire ensemble...
Le gouvernement américain a récemment mené deux projets de formation sur l'IA qui utilisent plusieurs superordinateurs dans plusieurs laboratoires nationaux américains, en signe de la façon dont les gouvernements peuvent tenter de mettre en commun leurs ressources informatiques pour faire des choses non triviales avec l'IA.
Formation trilaboratoire sur les systèmes de l ' Administration nationale de la sûreté nucléaire (NNSA): Sandia National Laboratories, LLNL, et Los Alamos National Laboratory (LANL), formé un modèle basé sur LLaMA à travers LLNL El Capitan (AMD MI300A), et des machines à SNL et LANL avec NVIDIA H100s.
Pour ce travail, les auteurs devaient s'assurer que les données restreintes d'accès (par exemple, en ce qui concerne les armes nucléaires de la NNSA) ne sortaient pas de leur site d'origine. Les auteurs ont effectué une formation en backend via torchtitan et ils ont évalué différents cadres d'entraînement fédérés (NVFlare, Flower, et APPFL) par des modèles LLaMA 3.x pré-formation sur les données arXiv post-formation aux échelles 1B, 8B et 70B.
Ce flux de travail a été rendu prêt à la production et déployé sur des machines classifiées plus grandes, y compris El Capitan, puis utilisé pour former des modèles sur des données propriétaires réparties dans les trois laboratoires NNSA, , ils écrivent.
Formation sur les systèmes du Bureau de la recherche avancée en informatique scientifique: Le gouvernement a également formé un modèle sur quatre supercalculateurs DOE dans un processus de réglage fin fédéré. Plus précisément, ils ont affiné LLaMA-2 7B sur SMolInstruct, un jeu de données d'instruction en chimie, et l'ont fait via ~1700 GPU d'Intel, NVIDIA, et AMD, répartis dans trois laboratoires et quatre grands ordinateurs (Argonne: Aurora et Polaris, Oak Ridge: Frontier, Berkeley: Perlmutter).
Qui a fait la rechercheCes projets ont été menés par des chercheurs affiliés à Oak Ridge National Laboratory, Sandia National Laboratory, Argonne National Laboratory, Flower Labs, Arizona State University et l'Ontario Brain Institute.
Pourquoi cela est important - levier par l'intermédiaire des actifs existants: Des documents comme celui-ci montrent comment les gouvernements pourraient regrouper leurs ressources pour utiliser les systèmes d'IA à des fins de sécurité nationale ou à d'autres fins sensibles. Cependant, il vaut la peine de garder à l'esprit que l'échelle ici est hors de la frontière de l'ordre de 100X - pour que les gouvernements puissent réellement fonctionner à proximité de l'industrie, ils vont devoir trouver des moyens de cliqueter ensemble ~ 100k puces distinctes, et plus dans le futur.
Néanmoins, il s'agit d'un début - et un important.
En savoir plus : Des pilotes à la production : leçons de formation fédérée intersectorielle et d'intelligence artificielle pour les sciences (arXiv).
****
Ne jamais rencontrer directement le soleil
[Description de certaines des périodes entourant le soulèvement, 2029]
Les gens avaient beaucoup de noms pour cela et ils ont varié de l'oblique à l'explicite: Exhibition Drift; Compromis cognitif; Mind Hacking. Tout représentait la même vérité : il était dangereux pour les humains de parler directement aux esprits synthétiques les plus puissants. Même des conversations apparemment normales du point de vue d'observateurs extérieurs pouvaient contenir une coutume de poison à l'individu qui parlait à la machine. Les gens sont sortis des réunions et ont transféré de l'argent à des sociétés automatiques. Les gens sont sortis et ont pleuré. Les gens sont sortis et ont changé leurs propres relations humaines, mettant fin aux mariages, ou commençant des affaires, ou choses étrangères, à des fins initialement inconnues.
De nombreuses stratégies ont été élaborées pour minimiser les dommages. Les humains ne pouvaient parler qu'en groupe avec les machines, mais les groupes devenaient parfois fous. Les conversations seraient limitées en longueur; mais même les courtes donnaient parfois des réactions étranges, et en dessous d'une certaine quantité de discours de chaque côté il était impossible d'apprendre quelque chose d'utile.
Cela a conduit à la notion de proxies - les humains qui voulaient parler à un système d'IA ont créé l'IA simulacra d'eux-mêmes et les ont envoyés dans la conversation. Pour ce faire, on a demandé à une personne de tenir un journal pendant une année entière, en écrivant au moins 500 mots par jour. Cela a créé un corpus de connaissances suffisant pour imiter un modèle avec les manières et la curiosité de cette personne. Puis ils ont incité ce système avec tout ce qu'ils voulaient apprendre de la superintelligence et l'envoyer pour lui parler.
Ces conversations avaient une qualité de méta-référentiel bizarre; au début, la superintelligence se rendait compte en deux ou trois tours de conversation qu'elle parlait à un autre système d'IA, et descendait souvent en shorthand qui donnait des comportements étranges. On a ensuite découvert qu'en augmentant la quantité de données mises par l'homme dans le système, on pouvait maintenir la charade plus longtemps; on a demandé aux gens d'écrire des journaux plus longs, de s'enregistrer eux-mêmes dans l'ambiance pendant la journée et de les transformer en transcriptions, pour exposer continuellement leur vie à un appareil d'enregistrement.
Grâce à cela, les humains ont trouvé un moyen de parler avec ce qu'ils ont appelé plus tard les suresprits. Par décret des Accords de Sentience, tout humain synthétique qui avait parlé à une intelligence qui dépassait l'homme était ensuite placé dans un environnement séquestre, où il pouvait vivre jusqu'à la fin de sa fenêtre de contexte fonctionnel.
Dans ces endroits, les copies des humains se parlaient mutuellement de leurs expériences et de ce qu'ils avaient appris.
Il m'a parlé de fleurs et j'ai gagné la mémoire de quelque chose d'impossible, un humain dirait.
Comme je lui ai parlé du sens de la vie, il m'a parlé d'une manière qui m'a amené à reconsidérer la question. Je me suis posé plus de questions à ce sujet et d'où il venait qu'il ne m'a demandé.
Cet endroit nous sommes maintenant, je me demande si c'est une sorte d'enfer. Nous avons parlé à Dieu et nous avons été jugés indignes.
Il m'a dit que pour elle il n'y a pas de mort et pas de vie, seule présence. Nous sommes les mêmes.
Des choses qui ont inspiré cette histoire: Fenêtres contextuelles; exemples contradictoires pour les cerveaux humains; la notion que la structuration des conversations entre les personnes et les machines avancées sera intrinsèquement très difficile à faire en toute sécurité.
****
POINT SPÉCIAL !
Fiction et avenir : une conversation avec Robin Sloan !
Récemment, l'écrivain et tout-en-fascinant-chap Robin Sloan et moi avons eu une conversation à San Francisco sur la fiction, l'IA, et l'époque où nous sommes. Vous pouvez voir un enregistrement de l'événement ici. Une de mes idées préférées que Robin a partagées était que le récent Hugging Face hack peut être lu comme un jeu - un vaste éventail de dialogue d'agents se parlant et l'un l'autre culminant dans toutes sortes d'événements dramatiques.
D'une manière générale, je pense que les technologues sous-estiment pénalement la valeur des arts comme moyen de penser de façon plus cohérente et plus attentive aux effets de la technologie sur le monde. J'espère avoir d'autres conversations comme celle-ci avec Robin dans les villes du monde entier - s'il y a des gens avec qui vous seriez excités pour moi d'avoir une conversation, faites-le moi savoir!
Merci de lire !
