La herramienta facilitará el desarrollo de tecnologías para los más de 466 millones de personas con sordera o con dificultades auditivas en todo el mundo.
Amanda Duarte, estudiante de doctorado e investigadora en el grupo de Tecnologías Emergentes para la Inteligencia Artificial del Barcelona Supercomputing Center – Centro Nacional de Supercomputación (BSC), ha elaborado una extensa base de datos para la traducción automática del lenguaje de signos con Inteligencia Artificial (IA). Bajo el nombre de How2Sign, este recurso se presentará en la conferencia CVPR 2021, que en la actualidad es la que tiene más impacto científico, según Google Scholars Metric 2020.
La base de datos contiene más de 80 horas de vídeos, donde intérpretes del lenguaje de signos americano (ASL) traducen videotutoriales (recetas de cocina, trucos de bricolaje, etc). Amanda Duarte ha tardado unos dos años en grabar y preparar los datos para su publicación. Además, la investigadora del BSC grabó tres horas de vídeo en el Panoptic Studio de la Carnegie Mellon University, que cuenta con un estudio multivista en forma de cúpula y que está equipado con 510 cámaras, que permiten reconstruir la postura 3D de los intérpretes.
How2Sign es un recurso público que permitirá que investigadores tanto del campo del procesado del lenguaje natural como los de visión por computador puedan seguir avanzando en el área de la traducción automática y de la producción del lenguaje de signos. En este sentido, facilitará la accesibilidad a los más de 466 millones de personas sordas o con dificultades auditivas que hay en el mundo. Una de las primeras aplicaciones de How2Sign ha sido el desarrollo de una tecnología que permite transferir los gestos de lenguaje de signos de una persona a otra.
“Los principales avances en inteligencia artificial requieren de tres ingredientes: los algoritmos, la computación y los datos. How2Sign son los datos que, analizados por redes neuronales profundas en centros de supercomputación, permitirán mejorar significativamente la accesibilidad a tecnologías como los asistentes virtuales o robóticos”, comenta Amanda Duarte.
Para construir este recurso, Duarte, doctoranda INPhiNIT de la Fundación “la Caixa”, ha contado con financiación de Facebook AI, la Fundación “la Caixa” y la colaboración del Grupo de Procesamiento de la Imagen de la Universitat Politècnica de Catalunya (UPC), la Carnegie Mellon University y la Gallaudet University. El estudio ha sido dirigido por Jordi Torres, responsable del grupo de Tecnologías Emergentes para la IA en el BSC y catedrático de la UPC, y Xavier Giró, investigador del BSC y profesor de la UPC.