El entrenamiento de Memristor reduce los costos de energía de la IA
Investigadores chinos aprovechan las actualizaciones probabilísticas del hardware de memristor para reducir en órdenes de magnitud el uso de energía en el entrenamiento de IA, allanando el camino para la electrónica ultraeficiente.
Científicos chinos han revelado un gran avance en el entrenamiento de modelos de IA que consumen mucha energía utilizando hardware de memristor, reduciendo el consumo de energía en casi seis órdenes de magnitud en comparación con el entrenamiento convencional basado en GPU.Su nuevo enfoque aborda un desafío de larga data de desajuste entre hardware y software en redes neuronales basadas en memristores y podría remodelar los perfiles de energía para la electrónica de inteligencia artificial de próxima generación.
En el centro del avance se encuentra un algoritmo de actualización probabilística con detección de errores (EaPU) que alinea el comportamiento ruidoso e impredecible de los dispositivos memristor con las actualizaciones de peso basadas en gradientes utilizadas en el entrenamiento de redes neuronales.La retropropagación tradicional realiza ajustes pequeños y precisos en los pesos de los modelos, pero los dispositivos analógicos de memristores que combinan almacenamiento y procesamiento sufren ruido de escritura y deriva que inundan cambios tan finos.En lugar de luchar contra ese ruido, la estrategia de EaPU adopta la estocasticidad: aplica probabilísticamente mayores cambios de peso mientras omite actualizaciones por debajo del umbral de ruido del dispositivo, reduciendo la cantidad de escrituras en más del 99% y reduciendo drásticamente el uso de energía.
El equipo validó su método en una matriz de memristores experimental de 180 nm, entrenando redes para eliminación de ruido de imágenes y superresolución con una calidad igual o mejor que los métodos de entrenamiento convencionales, pero utilizando solo una pequeña fracción de la energía.Se probaron en simulación redes más grandes, incluidas ResNets de 152 capas y Vision Transformers, que mostraron ganancias de precisión superiores al 60% en hardware ruidoso en comparación con los enfoques estándar.
Más allá del ahorro de energía, la frecuencia de actualización reducida extiende la vida útil del dispositivo aproximadamente 1000 veces, aliviando un obstáculo clave para los sistemas de memristores comerciales.En comparación con esquemas de entrenamiento de memristores anteriores, EaPU reduce la energía de entrenamiento aproximadamente 50 veces y aproximadamente 13 veces en comparación con el mejor algoritmo optimizado existente.
Los investigadores ven amplias aplicaciones para su técnica, extendiéndola potencialmente a otras tecnologías de memoria como transistores ferroeléctricos y RAM magnetorresistiva, e incluso a grupos de entrenamiento de IA a gran escala donde los costos de energía son una preocupación estratégica.Si se amplía y comercializa, este trabajo podría ayudar a hacer de la electrónica de IA sostenible y energéticamente eficiente una realidad práctica.