Pesquisadores da Nvidia apresentam uma estrutura de renderização que pode produzir objetos 3D a partir de imagens 2D

Os pesquisadores da Nvidia criaram uma estrutura de renderização que usa a Inteligência Artificial (IA) para pegar imagens em 2D e transformá-las em objetos 3D com precisão. O sistema é chamado DIB-R, abreviação de renderizador diferenciável baseado em interpolação e é construído no PyTorch, uma estrutura de machine learning. A equipe apresentará suas descobertas na conferência anual sobre sistemas de processamento de informações neurais em Vancouver, Washington, nesta semana.

Produzir objetos 3D a partir de imagens 2D

Essencialmente, a estrutura faz o oposto do que as GPUs geralmente fazem. Ela analisa uma imagem e forma um objeto 3D de alta fidelidade, incluindo forma, textura, cor e iluminação. A arquitetura codificador-decodificador começa com uma esfera poligonal e a transforma usando as informações fornecidas na imagem 2D.

O processo leva apenas um décimo de segundo, mas a rede neural leva dois dias para treinar usando uma única GPU V100 da Nvidia. A Nvidia afirma que o treinamento usando outras GPUs levaria várias semanas. Depois de alimentar vários conjuntos de dados contendo fotos de pássaros, o DIB-R conseguiu criar modelos 3D com precisão quando recebeu uma única imagem.

Neste experimento, os pássaros eram o foco. Porém, o co-autor do trabalho de pesquisa sobre o assunto, Jun Gao, disse que o sistema pode renderizar qualquer imagem 2D em um modelo 3D.

Gao disse:

Esta é essencialmente a primeira vez que você pode capturar praticamente qualquer imagem 2D e prever propriedades 3D relevantes.