El objetivo de este proyecto es generar descripciones detalladas de las obras pictóricas del Museo del Prado que ayuden a entender mejor nuestro patrimonio cultural e histórico
Después de un primer proyecto piloto, el reto será un análisis global de toda la colección, con más de 35.000 obras de arte, de las cuales 8.000 pertenecen a uno de los fondos de pinturas más destacados de Europa con cuadros de Velázquez, Goya o El Greco
“Con el proyecto buscamos también provocar una reflexión sobre el potencial de la IA para reconocer el pasado, la cultura o los símbolos”, afirman los investigadores del BSC, a la vez que alegan que servirá para crear nuevas iniciativas culturales y de difusión que pongan en valor el patrimonio cultural
El Barcelona Supercomputing Center – Centro Nacional de Supercomputación (BSC-CNS) y el Museo Nacional del Prado han presentado el proyecto FrAI Angelico, que muestra cómo la inteligencia artificial (IA) puede ayudar a acercar el patrimonio cultural a la ciudadanía gracias a la capacidad de los sistemas de aprendizaje automático para reconocer el contenido de las pinturas y su contexto histórico e iconográfico, de manera que sea posible obtener una descripción detallada de cada cuadro sin intervención humana.
El Museo Nacional del Prado ha desarrollado en los últimos años distintos proyectos en el marco de la IA. En 2019 implementó una lectura aumentada sobre los textos descriptivos de las fichas de obras publicadas en la web a través de un motor de Comprensión del Lenguaje Natural (NLU) que permite reconocer las entidades y conceptos tratados en las mismas para facilitar una lectura contextualizada al usuario. Ahora, con el apoyo del Barcelona Supercomputing Center – Centro Nacional de Supercomputación (BSC-CNS), dará un paso más en la aplicación de la IA para el estudio y difusión de sus colecciones e implementará un sistema que facilitará el reconocimiento de objetos sobre las imágenes de las propias obras. Javier Pantoja, jefe del Área de Desarrollo Digital del Museo Nacional del Prado, explica: "Con el NLU ayudamos a nuestros usuarios a una mejor comprensión de los textos explicativos de las obras gracias a la lectura aumentada de los mismos. En este proyecto, nuestra intención es, entre otras, apoyar el trabajo de documentalistas y especialistas en el reconocimiento y descripción de objetos, figuras y tema de las obras".
La IA es una herramienta poderosa que puede ser de gran utilidad para los profesionales del patrimonio cultural por su capacidad para analizar grandes cantidades de datos. Investigadores del departamento de Aplicaciones Computacionales para Ciencia e Ingeniería (CASE, por sus siglas en inglés) del BSC han desarrollado un modelo de IA de detección de objetos al que han entrenado con descripciones de miles de cuadros para que sea capaz de analizar de manera precisa el contenido de las pinturas del Museo del Prado, hasta el punto de detectar detalles u objetos que pueden pasar desapercibidos al ojo humano.
FrAI Angelico es un prototipo basado en la tecnología de un proyecto similar anterior, financiado por la Unión Europea, que se denominó Saint George on a Bike, coordinado por el BSC en colaboración con Europeana Foundation. En la primera fase, se analizarán 25 obras, pero el objetivo es establecer una colaboración más estable que permita realizar un análisis global de todo el fondo del Museo del Prado, considerado como la institución cultural más importante del país con más de 35.000 obras de arte, de las cuales 8.000 pertenecen a la colección de pinturas, una de las más destacadas de Europa con obras de artistas como Velázquez, Goya, El Greco, Rubens, Tiziano o Rafael, entre otros.
Teléfonos móviles en cuadros del siglo XVI
Los sistemas de reconocimiento de objetos se entrenan con imágenes que muestran los distintos elementos que nos rodean. Una vez entrenados, estos modelos de IA pueden detectar nuevas formas e interpretarlas en su contexto temporal. Este ha sido uno de los principales retos del proyecto, ya que hasta ahora los sistemas entrenados en un contexto determinado cometían errores de interpretación en entornos diferentes, lo que los llevaba a identificar teléfonos móviles o bates de béisbol en pinturas de los siglos XVI o XVII.
De igual manera, los nuevos modelos son también capaces de detectar objetos que son habituales en representaciones pictóricas del pasado, como una calavera, una corona de espinas, ángeles o demonios. El siguiente reto es enseñar a estos sistemas de IA a interpretar conceptos abstractos en la pintura clásica europea, como que dos cuerpos desnudos más un ángel probablemente representan a Adán y Eva o una paloma acompañada de un ángel y una persona al Espíritu Santo.
“Con el proyecto FrAI Angelico buscamos también provocar una reflexión sobre el potencial de la IA para reconocer el pasado, la cultura o los símbolos. Comparar el análisis de los nuevos modelos entrenados en el BSC con los resultados de otros sistemas actuales de reconocimiento de objetos es un ejercicio que nos invita a pensar sobre cómo miramos el pasado con los ojos del presente y aviva la fascinación que produce la contemplación de un cuadro y el descubrimiento de lo que no es aparente”, asegura Joaquim Moré, investigador del grupo de CASE del BSC.
Obras más accesibles para personas con discapacidad visual
La posibilidad de que los sistemas de IA sean capaces de detectar los objetos que aparecen en los cuadros ayudará al Museo del Prado y a otras instituciones del sector del patrimonio cultural a describir y clasificar sus obras de arte de forma automática, lo que facilitará la interpretación del significado de las pinturas.
Los resultados de FrAI Angelico se podrán utilizar para estudiar las relaciones temáticas entre miles de elementos de diferentes obras simultáneamente, desarrollar la documentación iconográfica sobre las obras del Museo y apoyar la clasificación de las obras por temáticas y objetos representados. Todo ello siempre con el objetivo final de incrementar el interés de la ciudadanía en el arte y el patrimonio cultural. También, como ejemplo, esto es especialmente útil para personas con discapacidad visual, que se podrán beneficiar de un formato más accesible de las obras pictóricas gracias a descripciones más detalladas de las imágenes.
“Gracias a esta iniciativa se podrán analizar las pinturas, detectar objetos que el visitante posiblemente no haya percibido, inferir temas, descubrir relaciones entre sus elementos o interpretar su simbolismo con el fin de crear iniciativas culturales y de difusión como exposiciones virtuales con pinturas relacionadas de cualquier parte del mundo. Y, sobre todo, este trabajo servirá de base para una nueva forma de estudiar y comprender nuestro patrimonio cultural”, concluye María Cristina Marinescu, investigadora del grupo de CASE del BSC.
- Descarga de información e imágenes
https://www.museodelprado.es/museo/acceso-profesionales
- Pie de foto: La obra ‘La Anunciación’ de Fra Angelico, pintor italiano del siglo XV que da nombre el proyecto, analizada por el sistema de IA de reconocimiento de objetos en pinturas.