Un grupo de investigadores de NVIDIA Research ha desarrollado un nuevo modelo de deep learning capaz de crear objetos 3D interactivos a través de imágenes en 2D estándar en apenas unos segundos.
Se trata de un sistema que combina ciertos algoritmos de aprendizajes para analizar imágenes estáticas y generar, a partir de ellas, modelos 3D totalmente manipulables. Las aplicaciones son infinitas, y pueden utilizarse en cualquier entorno que requiera estos modelos.
Desde desarrollo de videojuegos hasta aplicaciones de arquitectura, el sistema de NVIDIA puede reducir los tiempos de desarrollo. Permite generar elementos a través de imágenes.
Lógicamente, se trata de un sistema de aprendizaje e inteligencia, por lo que NVIDIA ha tenido que entrenar su algoritmo para que reconozca los patrones que incluyen las imágenes.
KITT cobra vida en entornos 3D gracias a NVIDIA
NVIDIA Research ha utilizado el mítico KITT del coche fantástico para demostrar las posibilidades de GANverse3D:
Para generar un conjunto de datos para dicho entrenamiento, los investigadores de NVIDIA aprovecharon una Red Neuronal Generativa de Adversarias o GAN, para sintetizar imágenes que representan el mismo objeto desde múltiples puntos de vista.
Han entrado al algoritmo como si de un fotógrafo se tratase. Múltiples tomas alrededor de un vehículo estacionado, desde diferentes ángulos. Después todas esas se colocaron en un framework de renderizado para gráficos inversos, el proceso encargado de inferir modelos 3D a partir de imágenes 2D.
De 2D a 3D virtual en apenas unos segundos
Estos elementos pueden cobrar vida en segundos a través de NVIDIA Omniverse, ser manipulados e incluidos en otro proyectos a través de la aplicación de NVIDIA.
GANverse3D, que así se llama, convierte automáticamente imágenes en modelos 3D realistas, dando una herramienta sin precedente a diseñadores, arquitectos o desarrolladores, al poder convertir esos elementos estáticos en controlables dentro de entornos virtuales.
Una sola foto de un coche, por ejemplo, puede convertirse en un modelo 3D se pueda conducir dentro de una escena virtual, incluyendo todo sus elementos, como faros, luces traseras y luces intermitentes realistas.
Según NVIDIA, Los creadores de juegos, arquitectos o diseñadoras pueden utilizar este sistema para probar nuevas ideas y visualizar prototipos
antes de crear sus productos finales. Incluyendo, además, la simulación en entornos virtuales complejos con trazado de rayos en tiempo real.