Synthèse
En avril, H2O.ai avait communiqué quelques scores de performance sur le benchmark TALENT (300 datasets). Sans entrer dans les détails de son évaluation, il avait annoncé un score moyen de 2,37 (le plus bas étant le meilleur). Cela plaçait TabH2O entre TabPFN et TabICL. Il ajoutait qu’il fallait en moyenne : 1,1 seconde pour traiter 1500 lignes 1,4 seconde pour 7000 lignes 2,9 secondes pour 15 000 lignes Environ 20 secondes pour 50 000 lignes Le score communiqué à l’occasion du Dell Technologies
En avril, H2O. ai avait communiqué quelques scores de performance sur le benchmark TALENT (300 datasets). Sans entrer dans les détails de son évaluation, il avait annoncé un score moyen de 2,37 (le plus bas étant le meilleur). Cela plaçait TabH2O entre TabPFN et TabICL. Il ajoutait qu’il fallait en moyenne : 1,1 seconde pour traiter 1500 lignes 1,4 seconde pour 7000 lignes 2,9 secondes pour 15 000 lignes Environ 20 secondes pour 50 000 lignes Le score communiqué à l’occasion du Dell Technologies World est un peu moins bon (2,55).
Mais il en va de même pour les autres modèles. H2O. ai est à peine plus précis sur sa méthodologie de test (3 tâches, 6 méthodes). Il insiste davantage sur un indicateur censé refléter les usages réels : qu’importe le nombre de colonnes, les prédictions arrivent en moins de 3 secondes pour les datasets jusqu’à 10 000 lignes. Sur les petits datasets, le réseau est le principal producteur de latence.
Pour 1000 lignes et 20 colonnes, il y a 189 ms d’inférence, contre 0,4 s de roundtrip API. Avec la plus grosse configuration testée (500 000 lignes x 50 features), la prédiction arrive en 5 minutes environ avec le traitement fragmenté. Illustration principale générée par IA The post Les modèles de fondation tabulaires émergent en alternative au ML appeared first on Silicon. fr.
Source originale
silicon.fr
« Jusqu’à 500 000 lignes par GPU »
· 21 mai
Un seul modèle, une seule phase de préentraînement ↗
arxiv.org · 21 mai
CORTEX