Tras la explosión de imágenes generadas por inteligencia artificial, el siguiente paso de esta tecnología está a la vista. NVIDIA anunció GET3D, un nuevo modelo de IA capaz de generar objetos en 3D que podrían usarse en videojuegos, películas o el metaverso. Con la ayuda de una GPU e imágenes 2D tomadas desde múltiples ángulos, el modelo es capaz de crear formas complejas con texturas de alta fidelidad.
De acuerdo con una entrada en el blog de NVIDIA, los ingenieros entrenaron al modelo de inteligencia artificial con un millón de imágenes. Con la ayuda de varios GPU A100 Tensor Core, el equipo consiguió en dos días su objetivo. Según la empresa, GET3D es capaz de producir 20 objetos por segundo usando una sola GPU, lo que facilitaría el trabajo a artistas y creadores de contenido.
El mundo real está lleno de variedad: las calles están llenas de edificios únicos, con diferentes vehículos zumbando y diversas multitudes pasando. Modelar manualmente un mundo virtual 3D que refleje esto requiere mucho tiempo, lo que dificulta completar un entorno digital detallado.
NVIDIA
Hasta ahora, GET3D es capaz de generar objetos variados que van desde automóviles, sillas, animales o motocicletas, hasta seres humanos o edificios. El modelo puede combinarse con otra herramienta de IA de NVIDIA para crear el objeto con un estilo específico. Los ingenieros mencionan que puede crear mallas 3D bien detalladas, con topología compleja y texturas realistas que puede exportarse a motores de juegos o aplicaciones de renderizado.
Los objetos 3D pueden editarse para usarlos en videojuegos o películas
Uno de los puntos clave de GET3D es que los resultados pueden editarse, algo que era difícil con intentos anteriores. A primera vista, el resultado es similar al que obtenemos si usamos la técnica de fotogrametría, con un modelo detallado en malla y textura. El único inconveniente es que esta clase de modelos requiere un trabajo de "limpieza" posterior para optimizar el conteo de polígonos.
Los trabajos anteriores sobre modelado generativo 3D carecen de detalles geométricos, están limitados en la topología de malla que pueden producir, normalmente no admiten texturas o utilizan renderizadores neuronales en el proceso de síntesis, lo que hace que su uso en software 3D común no sea trivial.
Al igual que ocurre en otros modelos de aprendizaje profundo, cuanto más grande sea el conjunto de datos de entrenamiento, los resultados mejorarán. GET3D utiliza un conjunto de datos sintéticos, aunque los investigadores planean que la próxima versión sea entrenada con datos del mundo real.
NVIDIA ya planea la siguiente versión de su modelo GET3D
La creación de objetos 3D por medio de inteligencia artificial es interesante y NVIDIA ha dado un paso importante. No obstante, los modelos tridimensionales para videojuegos, películas u otras aplicaciones de entretenimiento son mucho más complejos que un experimento de Mindjourney o DALL-E. Estos objetos deben cumplir con características adicionales como conteo de polígonos o topología si se usarán en juegos o escenas que involucran animación.
Hace unas semanas, una aplicación similar se volvió tendencia en Twitter. Kaedim, un servicio que promete crear modelos 3D a partir de imágenes 2D usando inteligencia artificial, llamó la atención de múltiples artistas. Tras publicar resultados que parecían demasiado buenos para ser reales, algunos acusaron a la empresa de mentir y usar profesionales 3D.
Al final, Kaedim dio la cara y dijo que si bien utiliza un algoritmo de IA para la creación del objeto, una persona edita el resultado final. El "ingeniero de control de calidad" revisa el modelo y lo adapta para cumplir el estándar de calidad requerido por el cliente antes de enviarlo. Aunque esto optimiza el tiempo de producción con respecto al trabajo manual, el algoritmo todavía no puede ofrecer resultados confiables.