Sistema pode descobrir conexões ocultas entre grandes obras de arte

O aluno de doutorado Mark Hamilton ficou surpreso ao ver que algumas obras de arte que não têm conexões podem parecer estranhamente semelhantes.

Por exemplo, O Martírio de São Serapião, de Francisco de Zurbarán, uma pintura religiosa espanhola do século XVII, com O Cisne Ameaçado de Jan Asselijn, uma tela holandesa de idade semelhante. Os artistas nunca se conheceram durante suas vidas. Todavia, os dois trabalhos mostram uma semelhança visual clara:

Sistema pode descobrir conexões ocultas entre grandes obras de arte

Hamilton pensou nos outros elos ocultos que poderiam ser descobertos na história da arte. Portanto, o pesquisador e sua equipe revelaram um novo algoritmo que leva a tecnologia de recuperação de imagem um passo adiante, para percorrer milhões de pinturas ao longo de milhares de anos e encontrar paralelos inesperados em temas, motivos e estilos visuais.

Apelidado de MosAIc, o sistema está sendo executado atualmente nos bancos de dados de obras do Metropolitan Museum of Art e do Rijksmuseum. A partir de uma única imagem, a ferramenta pode descobrir conexões em qualquer cultura ou mídia em que o usuário esteja interessado e alcançar rapidamente os trabalhos mais próximos possíveis que correspondem à consulta original.

Por exemplo, o MosAIc foi apresentado ao holandês Double Face Banyan, um item de vestuário anônimo do final do século 18, e encontrou semelhanças com uma estatueta de cerâmica chinesa. A conexão pode ser atribuída ao fluxo de porcelana do mercado chinês para o holandês entre os séculos XVI e XX.

Encontrar objetos com base na similaridade

Para desenvolver o MosAIc, a equipe usou um sistema de recuperação de imagens e o algoritmo KNN (k-nearest neighbors), que é amplamente usado para encontrar objetos com base na similaridade.

Hamilton e sua equipe criaram um sistema de recuperação de imagem condicional (CIR), que delega a filtragem ao algoritmo. Os pesquisadores ainda usaram o algoritmo KNN, mas permitiram adicionar “condições”, como textura, conteúdo, cor ou pose, enquanto o programa está sendo executado, até chegar à correspondência mais próxima da consulta original. Hamilton disse: