Hace meses, OpenAI nos sorprendía con su IA DALL-E, capaz de generar imágenes a partir de texto. Hace apenas unos días, Meta hacía lo propio con su inteligencia artificial capaz de generar vídeos. Hoy, Google da un paso más allá, presentando a DreamFusion, un generador de objetos tridimensionales a partir de texto.
Bueno, todo sea dicho, DreamFusion todavía se encuentra en etapa de investigación. Sin embargo, lo que ha dejado ver Ben Poole, investigador científico en Google Brain, y coautor del artículo, es bastante impresionante. Según se explica, DreamFusion es una evolución de Dream Fields, un generador de imágenes en 3D presentado por Google en 2021. Ahora, sin embargo, la compañía ha logrado darle un giro de tuerca muy interesante.
Al igual que su antecesor, la inteligencia artificial de DreamFusion es capaz de generar objetos en 3D a través de una Neural Radiance Field (NeRF), o lo que es lo mismo, una red neuronal tiene la habilidad de crear escenas en 3D a partir de datos parciales en 2D. Esta, en combinación con un modelo de conversión de texto a imagen previamente entrenado, es capaz de obtener estos resultados tan impresionantes.
No obstante, si conocías el funcionamiento de Dream Fields, sabrás que era básicamente esto mismo. Entonces, ¿cuál es la novedad? Pues, según comentan en la investigación, DreamFusion es capaz de generar imágenes 3D con un modelo propio llamado Imogen, una versión de DALL-E 2 propia de Google. Así, la compañía se despide de CLIP, modelo de OpenAI y el cual era la base en el funcionamiento de Dream Fields, dejando todo bajo un mismo techo.
Una inteligencia artificial capaz de cambiar una industria
Ben Poole, de quien ya te hablamos anteriormente, anunció la nueva inteligencia artificial mediante su cuenta de Twitter. Aquí, nos presentaba a DreamFusion como "nuestro nuevo método de Texto a 3D". Asimismo, comentaba un poco acerca de su funcionamiento, explicando que optimizaron "una NeRF desde cero usando un modelo de difusión texto a imagen. Sin necesidad de datos 3D".
Considerando que no es necesaria la utilización de información 3D para la generación de las imágenes, este es un logro impresionante por parte de Google. De hecho, tanto así que podría convertirse en un estándar en la industria de los videojuegos, el diseño digital y muchos otros sectores orientados al lado creativo.
Los resultados de DreamFusion de Google todavía pueden mejorar
A pesar de ser una tecnología impresionante, la tecnología artificial DreamFusion todavía puede mejorar. Según explican sus creadores, los modelos generados son coherentes, aunque no totalmente realistas. Es decir, sus proporciones son las correctas, la profundidad de los objetos tiene sentido, y cuenta con una cantidad importante de detalles superficiales. No obstante, sigue estando lejos del fotorrealismo de otras propuestas, como es el caso de la de NVIDIA.
De hecho, es tan poderoso que se ha logrado imprimir en 3D creaciones de DreamFusion. Según un usuario de Twitter, una de las creaciones de la IA, la cual muestra a un fantasma comiendo una hamburguesa, ha sido impresa en 3D. El resultado ha sido impresionante, y no podemos esperar para saber más de esta inteligencia artificial.
Eso sí, todavía se desconoce cuándo saldrá la IA DreamFusion al público. Sin embargo, si en algún momento lo hace, estamos seguros de que será una gran alternativa a pequeños diseñadores de juegos independientes u otros sectores que dependan de modelar en 3D con bajo presupuesto.