Investigadores de la Universidad de Seúl crearon Text2Action, una red neuronal que convierte una descripción de texto de una acción en una animación de movimientos de un modelo tridimensional. El algoritmo funciona en base a la red generativa antagónica (GAN, por sus siglas en inglés) y con su ayuda es posible, por ejemplo, enseñar al robot a comprender la descripción de texto de acciones. La preimpresión del artículo se publicó en el sitio web arXiv.
GAN está basada en el modelo Seq2Seq (secuencia a secuencia). Esta red neuronal aprende las dependencias entre los datos de entrada y salida, en este caso, entre el pedido recibido para indicar la acción y la imagen animada correspondiente. El procesamiento de la información de texto y el proceso posterior de su procesamiento en la imagen se basa en el trabajo de las redes neuronales recurrentes, según recoge Elizabeth Ivtushok en N+1.
La red neuronal fue entrenada con la base de datos pública MSR-VTT, creada por Microsoft, que contiene videos de acciones de varias personas y su descripción escrita automática. En total, se usaron 29.770 pares de «descripción-video» para el entrenamiento. Como resultado, la red neuronal no solo pudo convertir las oraciones separadas (combinadas con videos) en modelos animados, sino también crear nuevos modelos basados en varios pares de «descripción-video». Los resultados del trabajo de la red neuronal superan en realismo al algoritmo presentado anteriormente.
Además, los desarrolladores integraron la nueva red neuronal en Baxter, un robot de código abierto que a menudo utilizan los investigadores en proyectos de aprendizaje automático (por ejemplo, para probar el funcionamiento de una interfaz neuronal). Los investigadores lograron enseñar al robot a realizar acciones basadas en la descripción del texto.
