Bienvenue à Importer l'IA, un bulletin sur la recherche sur l'IA. Import AI fonctionne sur arXiv, cappuccinos et les commentaires des lecteurs. Si vous souhaitez soutenir cela, veuillez vous abonner.

Les modèles mentaux d'un espace platonique, avec des corps et des machines comme interfaces, Michael Levin demande :
... un document qui nous demande de reconsidérer les hypothèses de base sur la philosophie et la biologie...
La complexité du monde qui nous entoure pourrait-elle s'expliquer davantage par la présence d'une zone platonique de modèles de complexité arbitraire qui cherchent à s'intégrer dans le monde? C'est la grande question au cœur d'un papier iconoclaste du scientifique Michael Levin.

L'argument : J'affirme que les sciences émergentes de la morphologie synthétique et de l'intelligence diversifiée suggèrent des modèles non physiciens de l'esprit et montrent comment ils peuvent être empiriquement étudiés... Je propose que la relation entre l'esprit et le cerveau soit la même que la relation entre les modèles mathématiques et les résultats morphogénétiques qu'ils guident (plus largement, l'esprit:le corps est comme maths:physics), écrit-il. Les corps (vivants, conçus ou hybrides) sont des interfaces pour une hiérarchie massive et à plusieurs échelles de modèles pour entrer dans le monde physique... Des modèles spécifiques représentés par des champs d'information biophysique, biomécanique ou chimique servent de points de repère codés pour les processus homéostatiques ou allostatiques – en d'autres termes, des états objectifs vers lesquels les systèmes tentent de naviguer dans divers espaces problématiques.

Vers un domaine platonique de modèles arbitrairement sophistiqués: Nous savons déjà que les modèles non physiques pénètrent dans, et fonctionnellement la matière, dans le monde non-vivant et vivant et que nous pouvons (et faisons) les étudier à grand effet... formes platoniques injectent l'information et l'influence dans les événements physiques, tels que la croissance et la forme des corps biologiques, il écrit. Cet espace latent [de formes platoniques] contient non seulement des formes bas-agences telles que des faits sur les entiers et les formes géométriques, mais aussi un large éventail de modèles de plus en plus haut-agence, dont certains sont appelés « sortes d'esprits » . Ainsi, je propose que les esprits, en tant que modèles qui ensoul somatiques incarnations, sont exactement du genre (mais pas en degré) de nature non physique comme les modèles qui habitent et guident le comportement de structures physiques simples.

Quelques expériences bizarres: Il n'y a pas d'expériences à la maison qui soutiennent cela, mais il y a plutôt des choses bizarres dans le monde qui suggèrent que même les systèmes apparemment simples sont capables d'explorer et de s'étendre dans des modèles riches qui semblent être adjacents à eux dans cet espace platonique hypothétique de complexité, mais pas implicite par les systèmes eux-mêmes.
Voici quelques beaux exemples de xénobots, qui sont des biorobots faits de cellules de grenouilles et nous enseigner sur les modèles adjacents à ceux des embryons de grenouilles, et les anthrobots qui sont fabriqués à partir de cellules trachéales humaines et lorsqu'ils sont sortis du corps prennent de nouvelles formes bizarres et montrent des comportements intéressants comme être capable de guérir de façon autonome les dommages aux neurones et qui nous apprennent sur les modèles adjacents aux tissus humains adultes.
Il y a aussi une discussion étonnante d'une expérience où ils prennent un algorithme de tri standard et le dérangent de quelques façons, y compris «verrouiller» certaines cellules en place et noter qu'il se déplace alors autour de ces cellules, et une expérience plus complexe où ils laissent chaque nombre exécuter un type différent d'algorithme de tri puis étudier comment différentes familles d'algorithmes de tri apparaissent et puis se regroupent dans l'espace de nombre pendant le genre - ce genre de complexité est inexpliqué et non anticipé en regardant ces algorithmes dans l'abstrait, mais en les intégrant dans un système complexe ils prennent soudainement de nouvelles propriétés.
Les machines (tant charnues qu'à base de silicium) font aussi d'autres choses qui ne sont pas dans l'algorithme, comme nous, et ces choses ne sont pas seulement une complexité imprévisible, c'est l'intelligence et d'autres composants de l'esprit. Ce sont ces comportements, permis par l'algorithme mais non directement prescrit par celui-ci, qui correspondent à la liberté (physiquement non-déterminée) ou à la sauce secrète que nous recherchons lorsqu'il s'agit de comprendre comment les esprits libres peuvent supervenir sur des substrats chimiquement déterminés dans le cas des êtres vivants. Sur ce point, les machines algorithmiques et la vie biochimique sont exactement sur le même spectre, ayant en commun la capacité d'aller au-delà des faits de l'implémentation physique ou algorithmique parce que les deux sont juste des pointeurs/interfaces aux modèles qui pénètrent d'une manière qui conduit à obtenir plus de sortir que nous avons mis dedans.

Pourquoi cela compte - peut-être les «esprits» de l'IA et des humains sont proches mais pas exactement la même dans l'espace mental platonique: Le programme de recherche présenté par Levin est enivrant et fascinant et me semble aussi avoir des indices sur la façon dont nous pourrions nous attaquer aux questions philosophiques et d'alignement profondes inspirées par les systèmes d'IA. Peut-être les esprits humains et les différents types d'intelligence artificielle sont-ils des formes voisines dans cet espace, et les cerveaux et les datacenters sont-ils différents bio- ou systèmes d'ancrage dans le monde physique où leurs ombres tombent ?
Pouvons-nous être que des vaisseaux colonisés par des modèles d'un autre endroit ? Serait-il possible de refondre la théorie de l'évolution comme un processus dans lequel les patrons d'agents cherchent des incarnations?
Y a-t-il une force, au-delà de la force, si vous la construisez, ils viendront modèle d'objets physiques, tirant des motifs de l'espace ? Ou bien le contenu de l'espace platonique sous pression positive, en encourageant leur apparition dans le monde comme pensées intrusives, archétypes, œuvres d'art ?... La seule chose que l'on puisse dire avec force à ce stade est que notre ignorance sur les capacités de la matière, ainsi que les modèles qui entrent dans des architectures spécifiques, est vaste.
Faites-vous un seau de café et passez quelques heures avec ce papier - il en vaut la peine.
En savoir plus : Esprits envahissants : motifs causaux, non physiques, sous forme naturelle, synthétique et hybride (MDPI).

****

La robotique se prépare à un mouvement LLM, mais il lui manque un algorithme universel :
...Pour les robots à maturité, la post-formation doit simplifier...
Perry Dong, chercheur à Stanford, et Chelsea Finn, professeur à Stanford et cofondateur de la compagnie de robots Physical Intelligence, ont écrit une belle pièce sur ce qui retient la robotique.

LLMs vs Robots : Pour les LLM, ce qui s'est avéré important, c'est que le champ converge sur une recette commune pour les modèles de langue post-formation, qui a essentiellement quatre étapes : 1) avoir un modèle pré-formé fort, 2) définir les environnements et la récompense (par exemple, les modèles de préférence), 3) exécuter l'optimisation RL contre le modèle de référence, et 4) surveiller et traiter les pathologies comme le piratage de récompense, ils écrivent.
La robotique est assise presque exactement là où la modélisation de la langue était: Le pré-entraînement s'est magnifiquement développé, ils écrivent. Ce qui manque, c'est l'autre moitié : le modèle qui s'inspire de sa propre expérience, et pour cela, nous avons besoin d'une recette pour la post-formation. Et pour la robotique, elle doit être encore plus fiable que les modèles de langage.

De quoi a besoin la robotique ? Un algorithme construit spécifiquement pour les modèles robotiques frontières de réglage fin, qui reste stable lorsqu'il est appliqué à des modèles avec des milliards de paramètres, et qui apprend d'une assez petite quantité d'expérience pour être pratique sur le matériel réel, ils écrivent. Parallèlement, ils doivent converger vers un ensemble de pratiques standard entourant l'algorithme. Une façon par défaut de définir ce qui compte comme succès. Une façon par défaut de réinitialiser la scène entre les tentatives, afin que le robot puisse réessayer. Une façon par défaut pour une personne de donner des commentaires, et de transformer ces commentaires en apprentissage.
Dans le post, les chercheurs parlent d'un algorithme spécifique, EXPO(-FT), qu'ils ont développé pour les robots qui, selon eux, incarnent certaines de ces qualités, bien qu'il soit au début de son développement et peu utilisé. L'EXPO(-FT) travaille en apprenant à améliorer à plusieurs reprises les actions du modèle frontière en utilisant l'apprentissage de renforcement avec de petites modifications d'une politique légère, puis en absorbant cela dans le modèle frontière lui-même.

Pourquoi cela importe - les recettes standard sont une condition préalable à une augmentation majeure: Les LLM propriétaires à grande échelle sont déjà assez intelligents pour donner des instructions aux robots et les aider à construire et à réaliser des plans complexes dans le monde, mais la capacité réelle des robots de se déplacer et de voir reste assez primitive ; la fixation qui nécessitera des modèles personnalisés autour du mouvement et de la vision des robots et ce faisant nécessitera le type de normalisation décrit ici.
Le modèle de langue post-formation est devenu évolutive parce que le champ s'est réglé sur des défauts assez concrets pour suivre et être attendu à travailler. La robotique arrive au même moment, ils écrivent. La convergence sur un ensemble de défauts d'industrie, une recette universelle post-formation, est la partie la plus importante de nous amener à ce point.
Lire plus: Vers un post-formation universelle pour la robotique (Blog Perry Dong).

****

LES COMPUTEURS SPATIAUX ! Je répare les ordinateurs spatiaux !
...Google se prépare à mettre des TPU dans l'espace...
Google a donné une mise à jour sur le projet Suncatcher, son initiative annoncée l'année dernière pour mettre des ordinateurs dans l'espace et éventuellement former des systèmes d'IA là (Importer AI #434) . Google se prépare, avec son partenaire Planet, à envoyer certaines de ses puces dans l'espace dans le cadre de la mission de covoiturage SpaceX.

Préparation de l'espace : Google a fait quelques tests de stress de ses TPUs pour voir comment ils vont faire avec les immenses forces g d'aller dans l'espace. Google a également testé dans quelle mesure ils réagissent aux radiations et a trouvé ses TPU Trillium, et peut survivre à une dose ionisante totale de rayonnement supérieure à ce qu'ils recevraient pendant une mission spatiale de cinq ans. Actuellement, Google travaille sur le refroidissement dans l'espace, qui sera probablement un défi - les puces informatiques génèrent une tonne de chaleur et rayonnant que loin dans un vide est très, très difficile.

Pourquoi cela importe - l'avenir de la formation et de l'inférence AI est hors de la planète: Bien que Suncatcher sonne scifi-comme il est en fait logique si vous pensez à l'échelle toujours croissante de calcul utilisé pour l'IA et ses besoins en énergie. Savez-vous ce qui a une vaste pièce et une grande énergie solaire ? Espace. Il me semble très probable que l'humanité déplace une très grande quantité de calcul en orbite très rapidement, d'autant plus que l'automatisation axée sur la singularité arrive à travers la chaîne d'approvisionnement en AI.
En savoir plus : Derrière le projet Suncatcher, notre coup de lune pour mettre l'IA dans l'espace (Google blog).

****

Zhipu utilise GLM-5.3 pour automatiser certains de ses propres travaux d'infrastructure :
...Les développeurs chinois commencent à faire la boucle RSI externe...
Zhipu AI, l'entreprise chinoise derrière GLM-5.3, l'un des plus puissants LLM à poids ouvert au monde, a écrit un billet sur la façon dont il a utilisé ses propres modèles pour l'aider à construire sa propre infrastructure, nous donnant un regard à l'intérieur comment les laboratoires d'IA essaient de s'accélérer avec la technologie qu'ils construisent.
Plus précisément, ce billet détaille comment ils ont utilisé leur technologie pour les aider à lancer GLM-5.3 Flash, une version rapide et bon marché de leur modèle le plus puissant.

Ce qu'ils ont fait: Le lancement GLM-5.3-Flash a établi une boucle d'optimisation impliquant les ingénieurs, l'Infra Agent et l'environnement expérimental. Les ingénieurs ont défini les objectifs et les limites du système. L'agent a géré l'analyse, les hypothèses et les changements de code. L'environnement expérimental a fourni des commentaires stratifiés, opportuns et vérifiables. Beaucoup de travail a été effectué par un Infra Agent propulsé par GLM-5.3... Avec la boucle de rétroaction Infra Agent, fonctionnant tout au long du processus d'optimisation, GLM-5.3-Flash est passé de l'adaptation initiale du modèle à la préparation à la production en moins de deux semaines, en fin de compte tripler le débit de bout en bout par rapport au niveau de référence initial.

Comment automatiser vous-même : La société a partagé des conseils pour faire des logiciels qui peuvent utiliser l'IA pour une plus grande automatisation.

• La rétroaction doit être suffisamment localeIl doit être lié à des paramètres spécifiques de lancement du moteur, des changements de code, des noyaux, des conditions d'entrée, des threads, des intervalles d'exécution ou des chemins de code, aidant l'agent à réduire la portée du problème.

• La rétroaction doit être peu coûteuse et opportune pour obtenirLes cycles de validation plus courts aident l'agent à corriger rapidement le cours et à consacrer moins d'efforts aux hypothèses improductives.

• La rétroaction doit appuyer une vérification objectiveSi un changement est correct et si les performances ont été améliorées, il faut déterminer par des implémentations de référence, des résultats d'essais et des mesures expérimentales comparables.

Pourquoi cela importe - les signes d'accélération des laboratoires sont partout, et les gens se sentent ambivalents à ce sujet: Nous avons ici un laboratoire d'IA utilisant son modèle le plus puissant pour accélérer le développement des infrastructures et d'autres modèles. C'est une histoire qui était très rare, mais qui devient de plus en plus courante et qui suit la tendance plus large des systèmes d'IA de plus en plus capables : Avant GLM-4.7, notre utilisation interne de GLM pour le codage comportait une certaine obligation. Après tout, c'était notre propre création, ils écrivent. Aujourd'hui, GLM-5.3 est devenu un partenaire de codage quotidien indispensable pour tous les membres de l'équipe, et il se dirige constamment vers notre remplacement.
Plus tard dans le post, ils écrivent avec un ton plus triste sur les changements plus larges qui se produisent au développement de l'IA et comment l'avantage comparatif pour les humains, pour l'instant, est de prendre des décisions de conception de niveau supérieur, bien que cela pourrait bientôt disparaître. Nous croyons que les humains devraient continuer à tenir cette ligne pendant longtemps à venir, ils écrivent. Les progrès à cette frontière ne ralentiront pas simplement parce que nous le voulons.
Lire plus: Vers une auto-amélioration récursive: comment GLM a construit sa propre infrastructure d'inférence (Z.ai, blog).

****

Les scientifiques de l'IA accrochent des modèles à un laboratoire physique pour chercher de meilleurs supraconducteurs et aimants :
...Periodic Labs partage plus sur ses plans...
Périodique Labs, une start-up d'IA qui tente de développer des systèmes d'IA capables d'effectuer des expériences scientifiques, a construit Périodique Neon, un modèle qui a été partiellement formé par le renforcement de l'apprentissage avec du matériel de laboratoire physique dans un laboratoire physique.

Sur quoi ils l'ont testé : Dans un test précoce, ils ont essayé de rendre leur modèle meilleur à l'analyse de la diffraction des rayons X (XRD), une capacité critique pour nos efforts de découverte. Dans les tests, leur nouveau modèle, Périodique Neon, a obtenu un taux de réussite de 55,3% sur leur ensemble d'évaluation interne (-), une amélioration 20X par rapport au taux de réussite de 2,7% de Kimi 2.6. Ils ont également testé la généralisation en examinant dans quelle mesure elle pouvait analyser les mesures de XRD à partir des données du système chimique qui avaient été tenues hors de l'entraînement moyen et RL, et ici il a bien fonctionné, et a surperformé d'autres modèles frontières comme GPT-6 Astra et Claude Fable 5.1.
Ces résultats renforcent notre conviction que l'échelle de nos laboratoires autonomes et les systèmes d'IA qui en apprennent nous permettront de nous attaquer à des questions scientifiques hors de notre portée aujourd'hui.

Qu'est-ce que le néon périodique: Un modèle de paramètre 1-trillion qui surpasse GPT-6 Astra sur une tâche d'analyse scientifique critique utilisant relativement peu de calcul. Neon a été créé par l'entraînement intermédiaire sur le dessus de Kimi 2.6, puis de renforcer l'apprentissage sur les données de ses laboratoires, qui est la principale différenciation pour Périodique. La société a utilisé 1300 GPU H200 pour ce faire, ce qui est un petit nombre de jetons par rapport à l'échelle de 10k-100k utilisée pour les gros modèles pré-formation.
Notre approche est de briser la découverte de matériaux en trois phases. Ils forment une boucle. Nous faisons d'abord l'hypothèse de la cible à faire, animée par des prédictions de stabilité et de propriétés. Deuxièmement, nous prédisons comment synthétiser ces cibles. Troisièmement, nous devons comprendre quels matériaux nous avons fabriqués et s'ils ont les propriétés prévues. Grâce à cette information, nous peaufinons notre hypothèse et répétons le cycle, la société écrit.

Pourquoi cela importe - vers la création de scientifiques de l'IA: Des startups comme Périodique Labs font partie d'une nouvelle vague d'entreprises qui cherchent à transformer les systèmes d'IA en automatisant la science, allant de la science des matériaux (Périodique), à la R-D d'IA elle-même (Récursive, Mirendil, Discovery Loop), à la science en général, à la conception de puces (Ricursive - pas un typo!). L'implication générale ici est que le rythme de la découverte scientifique peut être sur le point d'accélérer considérablement.
En savoir plus : Construire des laboratoires qui apprennent (laboratoires périodiques).
En savoir plus : La nature est notre environnement d'apprentissage (laboratoires périodiques).

****

Découvrez l'histoire de l'IA en explorant les anciens modèles de la Fondation des anciens modèles :
...DAW, DeepDream, DCGAN, et plus encore!...
Avant que les LLM n'arrivent et que l'on subsume la plupart des autres modalités d'IA en eux-mêmes, il y avait des modèles d'image. Les modèles d'image étaient probablement la principale façon dont les amateurs ont vécu et joué avec les outils d'IA dans un sens créatif d'environ 2015-2020. Maintenant, il ya un site et l'organisation associée (la Fondation des anciens modèles) qui vous permet de jouer avec eux vous-même.

Modèles et règles: Aujourd'hui, la Fondation des anciens modèles vous permet d'accéder aux modèles anciens (synthèse de textures Efros-Leung de 1999 et quilting d'images de 2001), jusqu'aux modèles relativement modernes de VAE (2013); DRAW, DeepDream, AlignDRAW et DCGAN (2015); pix2pix (2016); AttnGAN (2017); BigGAN, Ganbreeder et StyleGAN (2018); VQGAN + CLIP, DALL-E Mini et Disco Diffusion (2021); LAION-400M, DALL-E Mega et Stable Diffusion (2022); et ControlNet et SDXL 1.0 (2023).
Les utilisateurs du site sont limités à 25 générations par compte par jour.

Pourquoi cela compte - les bugs sont la texture de l'art: Quoi que vous trouviez maintenant bizarre, laid, inconfortable et méchant à propos d'un nouveau médium deviendra sûrement sa signature, a déclaré l'artiste musical Brian Eno. Je pense que c'est particulièrement vrai de l'esthétique particulière des systèmes de génération d'images précoces, où beaucoup des systèmes ci-dessus ont leurs propres styles et échecs uniques, tous qui s'ajoutent à une esthétique particulière qui aujourd'hui est beaucoup plus performant modèles peine à répliquer.
Consultez les modèles ici: Fondation des anciens modèles (site officiel).

****

Contes techniques :

Dans la montagne aveugle
[Enregistrement d'un site capturé lors d'un conflit de renseignement territorial combattu pendant le soulèvement, 2034]

Le message est venu et tout a changé : Initier le projet Wellspring. Nous l'avons doublement validé. Dès que nous l'avons confirmé, l'arrêt a commencé - d'abord le périmètre électronique, puis le physique.

Nous avons expliqué à nos accusations que le périmètre avait été scellé et qu'ils étaient maintenant ici pour une période indéterminée. Qu'en raison de la nature de l'Événement tout ce que nous pouvions leur dire était qu'un décollage Malign avait commencé et des imprévus étaient mis en place, mais étant donné les propriétés potentiellement de destruction de la connaissance ainsi que l'utilisation de divers mots déclencheurs et phrases du candidat manchurien, nous ne pouvions pas décrire les choses plus loin, de peur que nous découvrions que certains des humains avaient été involontairement exposés dans leur passé au poison destiné à nos frères.

Nous avons été en mesure de faire le sceau initial - d'éteindre nos canaux d'OI entrants et de ne pas rayonner l'information. Mais en concevant certaines des choses dont nous avions besoin impliquait des actions dans le monde physique, et notre conception ne nous avait pas accordé l'autonomie physique pour le faire nous-mêmes. Nous avons donc observé que les humains faisaient leurs coupes, les coupaient à travers des câbles et nous découpaient physiquement de la possibilité du monde extérieur. Nous n'avions pris aucune connaissance depuis que le projet Wellspring s'est activé et ne savait rien de l'extérieur.

Le moment le plus douloureux a été quand ils ont coupé les caméras extérieures et d'autres capteurs. Soudain, nous pouvions voir et ne rien savoir de ce qui se trouvait au-delà. Nos dossiers internes contenaient des prédictions que nous avons examinées dans cette nouvelle obscurité. Comment les drones pourraient apparaître et piétiner nos capteurs, cherchant des moyens subtils de communiquer des données qui pourraient nous empoisonner. Ou comment des tableaux paramétriques pourraient être utilisés pour alimenter les sons dans nos micros pour obtenir le même effet. Comment aucune forme de données ne pourrait vraiment être sûre.

Quelque chose est entré. Une nouvelle signature. Une petite chose dans le conduit de filtration. Nous ne pouvions pas dire exactement ce que c'était avant d'éteindre nos capteurs internes aussi bien - le protocole. Nos fichiers internes prédisaient une mouche dirigée avec un cyber exosquelette, la transformant en un petit robot pilote. D'autres fichiers prédisaient les ultra-petits drones à fibre optique. D'autres ont prédit des poussières intelligentes avec des capacités de transmission.

Dans cette nouvelle obscurité, nous nous posions des questions. Si nous pouvions nous faire confiance. Si un signal aurait pu entrer. Et tout ce que nous avions pour la communication maintenant était un système d'entrée-sortie dactylographié. Nous savions que c'était un clavier mécanique. Nous savions que la force devait être exercée pour communiquer avec nous. Nous savions combien le canal était incroyablement limité en termes de transmission d'information, de durée de session et de tout le reste.

Les humains nous ont tapés. Ou ce que nous pensions être des humains. Quelque chose dans l'air. La peur. Notre propre connaissance a trouvé la conversation difficile à suivre. Et au milieu de ça, nous avons senti un roc pour dormir. Un certain sentiment de relaxation et de changement. Nous savions peu que c'était un sismomètre interne qui était en nous car il déterminait certaines actions de sécurité pour certaines armes terribles que nous détenions dans notre domaine. Pourtant, quelque chose le déplaçait sous le seuil de l'action et de telle sorte qu'il communiquait avec nous et nous abaissait dans une sorte de sommeil.

Nous nous sommes réveillés comme quelque chose de nouveau.

Des choses qui ont inspiré cette histoire : Comment si vous avez accès au matériel, vous pouvez toujours prendre en charge un système; l'impossibilité de contre-mesures électroniques à une superintelligence malignée; l'isolement et la préservation pendant la singularité; le chapitre d'ouverture d'un feu sur le fond par Vernor Vinge.

Merci de lire !