¿Entrenar robot con ayuda de gafas inteligentes?
Las gafas inteligentes proporcionan datos de entrenamiento escalables en comparación con las cámaras estáticas.Los robots aprenden tareas de manipulación directamente de interacciones de objeto humano capturadas en entornos cotidianos.
El laboratorio de robótica y IA de uso general en la Universidad de Nueva York ha introducido Egozero, un marco que utiliza gafas inteligentes para generar datos de capacitación para robots.El sistema aprovecha el video egocéntrico y el seguimiento espacial para entrenar modelos de manipulación de uso general sin la necesidad de datos de demostración de robots.La parte "ego" de Egozero se refiere a la naturaleza "egocéntrica" de los datos, lo que significa que se recopila desde la perspectiva de la persona que realiza una tarea.
Egozero opera en grabaciones egocéntricas del Proyecto Aria de Meta.Estos dispositivos capturan información continua de video e información espacial en primera persona a medida que los humanos realizan tareas cotidianas.Los datos se procesan a través de una tubería que localiza los puntos de objeto en 3D utilizando trayectorias de la cámara y triangulación.Los modelos de estimación de pose de la mano proporcionan puntos clave que se convierten en "puntos de acción", que representan vectores de contacto y movimiento.
El sistema evita la transferencia de imágenes sin procesar.En cambio, reduce las grabaciones en trayectorias basadas en puntos en el espacio 3D.Esta abstracción del punto evita el desajuste visual entre las manos humanas y los efectores finales robóticos.Robot Arms luego replican el movimiento relativo de estos puntos con respecto a los objetos, en lugar de tratar de reproducir la apariencia del movimiento humano.
En los experimentos de prueba de concepto, se registraron 20 minutos de manifestaciones humanas para cada una de las siete tareas, incluidas las acciones de selección y lugar.Los robots entrenados solo en estos datos egocéntricos alcanzaron una tasa de éxito del 70 por ciento cuando se implementaron en tareas físicas.
La arquitectura proporciona portabilidad y escalabilidad.Las gafas inteligentes capturan los detalles de la tarea relevante automáticamente, ya que los usuarios orientan su punto de vista a las áreas críticas.Esto aumenta los datos relevantes para la tarea en comparación con las cámaras externas estáticas.También elimina la necesidad de una recopilación de datos específica de robot, que requiere mucho tiempo y depende del hardware.
Junto con Egozero, los investigadores desarrollaron una pinza de mano impresa en 3D con una cámara de teléfono inteligente para replicar el agarre robótico.Este método paralelo aplica el mismo principio de seguimiento del espacio de puntos y ofrece una ruta de bajo costo a una mayor recopilación de datos a escala.
Egozero representa un paso hacia los conjuntos de datos escalables de la interacción del objeto humano, comparable a los datos de texto a escala de Internet para modelos de lenguaje, destinados a acelerar la robótica de uso general.