A princípio, já imaginou se existisse alguma inteligência artificial capaz de traduzir arte visual em outras formas de percepção? Neste artigo, veja como pesquisadores holandeses conseguiram isso.
Traduzir arte visual para melodias
A sinestesia é um fenômeno em que o estímulo de um sentido (como a audição) leva a experiências involuntárias em um segundo sentido (como a visão).
Em um estudo recente que parece ser pelo menos parcialmente inspirado por essa área, pesquisadores na Universidade de Amsterdã investigaram um sistema de Inteligência Artificial (IA) — Synesthetic Variational Autoencoder, ou SynVAE — capaz de mapear características de pinturas e outras artes visuais para frases musicais (na forma de arquivos MIDI).
Os pesquisadores escreveram:
A arte é sentida como um fluxo de informação entre um artista e um observador. Logo, o observador deveria ser visualmente afetado, no entanto, isso não acontece quando uma barreira aparece. Assim, uma maneira de superar esse obstáculo talvez seja traduzir arte visual, como pinturas, de uma modalidade sensorial inacessível em outra que seja acessível, como a música.
Para este fim, os pesquisadores conceberam uma arquitetura de IA para traduzir dados de uma modalidade sensorial para outra de uma maneira não supervisionada. Eles compilaram uma coleção de obras de 180.000 pinturas de óleo e aquarela do conjunto de dados open source da Behance Artistic Media e da MNIST. Dessa forma, eles usaram essas pinturas para ensinar o SynVAE sobre as relações entre elementos visuais e sequências musicais.
Os resultados são promissores
Em uma de muitas avaliações, voluntários humanos receberam a tarefa de classificar tons de imagens e humor usando uma das três descrições — “assustador”, “feliz” ou “feliz e pacífico” — ao ouvir às criações MIDI do SynVAE. Assim, os resultados mostram que eles interpretaram as artes corretamente sem tê-las visto na maior parte do tempo, sugerindo que pelo menos alguma emoção percebida através de cor e composição pode ser transmitida “por dados complexos”.
Além disso, os pesquisadores escreveram:
[Nosso trabalho confirma que] … a consistência áudio visual não é apenas teórica, mas também muito perceptível. Conforme mostrado pelos nossos resultados, pode ser concluído com alta confiança que o SynVAE é capaz de traduzir com consistência uma grande variedade de imagens em música através de mecanismos de aprendizado sem supervisão. Assim, nós … esperamos que a metodologia descrita nessa pesquisa forneça bases sólidas para avaliações não supervisionadas, modelos transversais, em adição ao próprio SynVAE habilitar mais acesso intuitivo e inclusivo a trabalhos de arte visuais pelos limites sensoriais.
Outras tentativas de traduzir arte visual
“Arte de IA” é um campo de estudo crescente que tem sido desenvolvido por empresas como Adobe e Google, para não mencionar pesquisadores do MIT e cientistas de dados independentes em todo o mundo. Em junho, a Adobe AI demonstrou um sistema de IA que aprende estilos de pintura para reproduzir trabalhos de arte em menos de um minuto. Mais recentemente, a Nvidia compôs uma família de algoritmos — GauGAN — que cria imagens de paisagens realistas que nunca existiram. E pesquisadores do laboratório MIT-Watson arquitetaram um programa que permite que usuários carreguem qualquer fotografia e a editem.
Afinal, você gostou de conhecer como a inteligência artificial atua ao traduzir arte visual em melodias?
Não deixe de compartilhar!
Fonte: Venture Beat
Leia também: Automação e inteligência artificial podem mudar o ambiente de trabalho
