Voluntaris de tot Europa analitzaran 5.000 obres pictòriques per entrenar models d'IA que ajudin a entendre millor el patrimoni cultural i artístic i fer-lo més accessible al gran públic.
Gràcies a aquesta iniciativa es podran analitzar obres pictòriques, descobrir relacions entre els seus elements i interpretar el seu simbolisme per tal de crear iniciatives culturals i de difusió com ara exposicions virtuals amb pintures relacionades de tot el món
Aquest projecte ambiciós interpreta per primera vegada imatges segons el seu context i busca així dotar les màquines d'un cert sentit comú, que és una de les grans barreres de la Intel·ligència Artificial avui dia
La campanya és totalment oberta i qualsevol persona pot participar accedint en aquest enllaç
L'anàlisi dels milions d'obres que formen part del patrimoni cultural i artístic és una feina que sembla impossible per a l'ésser humà, però no per als superordinadors. El projecte europeu Saint George on a Bike, coordinat pel Barcelona Supercomputing Center – Centro Nacional de Supercomputación (BSC) en col·laboració amb Europeana Foundation, va arrencar el 2019 amb l'objectiu de fer servir el supercomputador MareNostrum 4 per entrenar models d'Intel·ligència Artificial que ajudin a la difusió entre els ciutadans de la riquesa del patrimoni cultural europeu, el reconeixement del seu valor, la comprensió i consciència de la seva conservació i promoció. Per això, el projecte cerca generar descripcions automàtiques de centenars de milers d'imatges procedents de diversos repositoris del patrimoni cultural, tot utilitzant algoritmes de processament del llenguatge natural i deep learning.
En una segona fase del projecte, els investigadors han engegat una campanya de crowdsourcing a Zooniverse, un portal de ciència ciutadana, per recollir milers d'anotacions manuals que ajudin a entrenar millor aquests models d'Intel·ligència Artificial. La campanya és totalment oberta i qualsevol persona hi pot participar accedint a aquest enllaç.
"El nostre projecte permetrà un accés ràpid a informació cultural que es pot utilitzar no només per a fins culturals i socials, sinó també a altres sectors com l'educatiu i el turístic i, possiblement, també sigui d'ajuda per a historiadors o antropòlegs. A més, la societat en general també es pot beneficiar de millors serveis públics com ara una millor accessibilitat a pàgines web per a les persones amb discapacitat visual, narratives que poden exposar la injustícia social o la integració a través del patrimoni cultural col·lectiu per ajudar a crear una identitat europea més tolerant”, afirma Maria-Cristina Marinescu, investigadora del BSC i coordinadora del projecte.
És la primera vegada que la Intel·ligència Artificial proporciona descripcions d'imatges del patrimoni cultural amb la màxima cobertura de temes, objectes i relacions iconogràfiques, tenint en compte el context temporal de creació de les obres i les regles de composició d'èpoques i escenes de la iconografia sagrada dels segles XIV al XVIII.
"Aquest ambiciós projecte interpreta per primera vegada imatges segons el seu context i busca dotar les màquines d'un cert sentit comú, que és una de les grans barreres de la Intel·ligència Artificial avui", declara Joaquim Moré, investigador del BSC i expert en lingüística computacional del projecte. “Per exemple, quan en un primer moment identifica una moto en una pintura de Sant Jordi del segle XV, es corregeix i s'identifica l'objecte més plausible per l'època, que és el cavall. Més endavant aquesta adaptació es farà al context cultural. Així, en el context cultural japonès el que a Europa anomenaríem un cavaller, seria un samurai”, conclou.
El projecte ha posat en marxa també un vídeo inspirador on destaca l'ús de la Intel·ligència Artificial per a la detecció d'imatges i composicions mai abans vistes, l'extracció de relacions entre milers d'imatges o l'oportunitat d'organitzar exposicions virtuals amb pintures relacionades de tot el món.
- Més informació sobre el projecte: https://saintgeorgeonabike.eu/
- Informació sobre la campanya UPCArts i Saint George on a Bike: UPCArts i el projecte Saint George on a Bike llancen una campanya de crowdsourcing per subtitular pintures històriques
Veure el vídeo a sota.