Synthèse
Pour la classification vidéo, en précision simple ou double (INT8 ou FP16), le NPU a l’avantage lorsqu’on est sur du traitement séquentiel. Par lots, le rapport s’inverse à partir d’un batch size de 8. Avec le LTSM, le GPU est nettement meilleur. L’irrégularité des accès mémoire handicape le NPU, qui doit rafraîchir à chaque fois son mapping DMA. Le NPU reprend l’avantage avec TinyLlama. Il n’est pas à son aise sur la phase de préremplissage, dominée par des multiplications matricielles. Mais le
Pour la classification vidéo, en précision simple ou double (INT8 ou FP16), le NPU a l’avantage lorsqu’on est sur du traitement séquentiel. Par lots, le rapport s’inverse à partir d’un batch size de 8. Avec le LTSM, le GPU est nettement meilleur. L’irrégularité des accès mémoire handicape le NPU, qui doit rafraîchir à chaque fois son mapping DMA. Le NPU reprend l’avantage avec TinyLlama.
Il n’est pas à son aise sur la phase de préremplissage, dominée par des multiplications matricielles. Mais le gros des opérations se trouve sur la phase de décodage, quant à elle riche en produits matrice-vecteur.
Source originale
silicon.fr
CORTEX