Voluntarios de toda Europa analizarán 5.000 obras pictóricas para entrenar modelos de IA que ayuden a entender mejor el patrimonio cultural y artístico y hacerlo más accesible al gran público.
Gracias a esta iniciativa se podrán analizar las pinturas, detectar imágenes o composiciones nunca antes vistas, descubrir relaciones entre sus elementos o interpretar su simbolismo con el fin de crear iniciativas culturales y de difusión como por exposiciones virtuales con pinturas relacionadas de todo el mundo
Este ambicioso proyecto interpreta por primera vez imágenes según su contexto y busca así dotar a las máquinas de un cierto sentido común, que es una de las grandes barreras de la Inteligencia Artificial a día de hoy
La campaña es totalmente abierta y cualquiera puede participar accediendo a este enlace
El análisis de los millones de obras que forman parte del patrimonio cultural y artístico es un trabajo que parece imposible para el ser humano, no así para los superordenadores. El proyecto europeo Saint George on a Bike, coordinado por el Barcelona Supercomputing Center – Centro Nacional de Supercomputación (BSC) en colaboración con Europeana Foundation, arrancó en 2019 con el objetivo de emplear el supercomputador MareNostrum4 para entrenar modelos de Inteligencia Artificial que ayuden a entender e interpretar mejor el patrimonio cultural europeo y apoyar la difusión entre los ciudadanos de la riqueza, el valor y la importancia de la conservación de este patrimonio cultural. Para ello, el proyecto busca generar descripciones automáticas de cientos de miles de imágenes procedentes de diversos repositorios del patrimonio cultural utilizando algoritmos de procesamiento del lenguaje natural y deep learning.
En una segunda fase del proyecto, los investigadores han lanzado una campaña de crowdsourcing en Zooniverse, un portal de ciencia ciudadana, para recoger miles de anotaciones manuales que ayuden a entrenar mejor estos modelos de Inteligencia Artificial. La campaña es totalmente abierta y cualquier persona puede participar accediendo a este enlace.
"Nuestro proyecto permitirá un acceso rápido a información cultural que puede utilizarse no sólo para fines culturales y sociales, sino también en otros sectores como el educativo y el turístico y, posiblemente también sea de ayuda para historiadores o antropólogos. Además, la sociedad en general también puede beneficiarse de mejores servicios públicos como por ejemplo una mejor accesibilidad a páginas web para las personas con discapacidad visual, narrativas que pueden exponer la injusticia social o la integración a través del patrimonio cultural colectivo para ayudar a crear una identidad europea más tolerante”, afirma Maria-Cristina Marinescu, investigadora del BSC y coordinadora de Saint George on a Bike.
Con esta iniciativa es la primera vez que la Inteligencia Artificial proporciona descripciones de imágenes del patrimonio cultural con la mayor cobertura de temas, objetos y relaciones iconográficas, teniendo en cuenta el contexto temporal de creación de las obras y las reglas de composición de épocas y escenas de la iconografía sagrada de los siglos XIV al XVIII.
“Este ambicioso proyecto interpreta por primera vez imágenes según su contexto, y busca así dotar a las máquinas de un cierto sentido común, que es una de las grandes barreras de la Inteligencia Artificial a día de hoy”, declara Joaquim Moré, investigador del BSC y experto en lingüística computacional del proyecto. “Por ejemplo, cuando en un primer momento identifica una moto en una pintura de San Jorge del siglo XV, se corrige e identifica el objeto más plausible por la época, que es el caballo. Más adelante, esta adaptación se hará al contexto cultural. Así, en el contexto cultural japonés lo que en Europa llamaríamos un caballero, sería un samurái”, concluye.
El proyecto ha lanzado también un video inspirador en el que destaca el uso de la Inteligencia Artificial para la detección de imágenes y composiciones nunca antes vistas, la extracción de relaciones entre miles de imágenes, o la oportunidad de organizar exposiciones virtuales con pinturas relacionadas de todo el mundo.
- Para más información sobre el proyecto: https://saintgeorgeonabike.eu/
- Información sobre la campaña UPCArts y Saint George on a Bike: UPCArts y el proyecto Saint George on a Bike lanzan una campaña de crowdsourcing para subtitular pinturas históricas
Ver vídeo debajo.