En lugar de una arquitectura convencional de Von Neumann que está diseñada para mover datos, los dispositivos run200AI usados en las tarjetas aceleradoras tsunAImi están diseñados para computación. El elemento de procesamiento se encuentra dentro de la memoria para crear una matriz de procesamiento distribuida.
Los dispositivos runAI200 utilizan tipos de datos enteros y un modo por lotes de 1. El banco de memoria tiene 385 kbytes de SRAM con una matriz 2D de 512 elementos de procesamiento. Hay 511 bancos por chip, que se combinan para proporcionar 200 Mbytes por dispositivo. El funcionamiento es de hasta 502 TOPS en modo "deportivo". Configurado en modo "eco", ofrece 8 TOPS.
La potencia de cómputo de la tarjeta aceleradora se traduce en más de 80.000 fps de rendimiento de ResNet-50 v 1.5 en lote = 1, o tres veces el rendimiento de su competidor más cercano, dice la compañía. En otra prueba de referencia, para el procesamiento del lenguaje natural, las tarjetas aceleradoras pueden procesar más de 12.000 consultas por segundo de base BERT, dice la compañía. Esto es cuatro veces más rápido que cualquier producto anunciado, dice.
Los dispositivos runAI200 se fabrican mediante un proceso rentable de 16 nm.
La IA para inferencia será un elemento importante en los centros de datos, donde su densidad de cálculo acelerará el rendimiento de las ciudades inteligentes y otras aplicaciones de IA y aprendizaje automático.
La tarjeta aceleradora tsunAImi es una tarjeta PCI Express de factor de forma estándar para usar en la nube o en servidores. Es compatible con el software abierto TensorFlow y PyTorch para el aprendizaje automático.
Para acompañar a la tarjeta aceleradora, el kit de desarrollo de software (SDK) Untether AI imAIgine tiene cuantificación, optimización, asignación física y partición de varios chips mediante un botón. También proporciona un conjunto de herramientas de visualización, un simulador de ciclo preciso y una API de tiempo de ejecución para la integración.
La tarjeta aceleradora tsunAImi se está probando ahora y estará disponible comercialmente en el primer trimestre de 2021. El SDK de imAIgine está en el acceso temprano con clientes y socios selectos.