Aunque la creación de cómics tardó en ser considerado un arte, el cómic se ha convertido en una forma de expresión más junto al cine, la literatura o el videojuego. Una combinación entre texto e imagen que logra ir más allá de la pintura y de la escritura, cuenta con millones de seguidores e inspira a cine y televisión con multitud de adaptaciones.
Pero la creación de cómics o mangas, su equivalente asiático, no es fácil. Además de una buena historia con buenos guiones es necesario dibujar bien. No sólo eso, requiere de grandes dotes para plasmar cualquiera idea o situación en imágenes con globos y viñetas.
Y aquí es donde entra la automatización. En esta ocasión, de la mano de investigadores chinos de la Universidad de Tecnología de Dalian y de la Universidad de la Ciudad de Hong Kong. Hasta ocho investigadores, divididos en cuatro grupos de trabajo, han ideado un sistema que, a partir de software, permite la creación de cómics sin intervención humana. El truco está en que la materia prima empleada es una película, serie o cualquier vídeo con subtítulos.
Fotonovelas generadas por ordenador
El proyecto de crear cómics a partir de un vídeo, extrayendo frames o fotogramas e insertando diálogos en globos, es algo que los más viejos del lugar conocemos como fotonovelas. La fotonovela fue un género narrativo que surgió en la segunda mitad del siglo XX. Inspirado en el cómic, empleaba viñetas y globos de texto. Pero en vez de dibujos e ilustraciones, el peso gráfico lo llevaban las fotografías creadas a tal efecto.
La edad de oro de la fotonovela fueron las décadas de los 70 y 80 del siglo pasado. Curiosamente, una época en la que el proceso de elaboración era artesanal. A medida que la informática pudo hacerse cargo de esta tarea, la fotonovela fue desapareciendo de las publicaciones en papel hasta ser una mera anécdota. Y con la informática del siglo XXI, parece que puede volver. O al menos eso indica el estudio publicado en el repositorio público arXiv.
Combinando varios programas de ordenador que ya existen en la actualidad, los investigadores han logrado generar páginas de novelas gráficas o cómics a partir de los fotogramas y subtítulos de ficciones tan populares como Friends (1994-2004), Titanic (1997) o Up in the Air (2009). Para ello, el sistema se apoya tanto en las imágenes del metraje como en los subtítulos. Como el cómic, texto e imagen combinados.
Procesando imágenes y textos
La investigación, titulada en el paper correspondiente como Automatic Comic Generation with Stylistic Multi-page Layouts and Emotion-driven Text Balloon Generation, en español se podría traducir como “Generación automática de cómics con diseños estilísticos multipágina
y generación de globos de texto basados en la emoción”. En la práctica, su principal aplicación es la que conocemos, crear cómics a partir de imágenes en movimiento. Pero el proyecto, como toda investigación científica y tecnológica, va más allá.
Por un lado, se trata de extraer de un metraje audiovisual las imágenes más relevantes para entender la historia. Puede usarse con un cortometraje, un vídeo de YouTube, una película, un episodio de serie o programa de televisión… Un método automático para resumir un vídeo de más de una hora en unas pocas páginas con viñetas.
Por otro lado, se trata de extraer de los subtítulos los fragmentos más relevantes para generar globos de texto. Es decir, el reto es detectar diálogos y, de estos, quedarnos con los más relevantes para la historia. Y, por último, otro de los propósitos del estudio es generar un producto artístico como es un cómic o novela gráfica a partir de esos textos e imágenes, con cierto orden y sentido y sin caer en una selección aleatoria.
Para determinar el tamaño de las viñetas, de los globos y del texto incluido en cada globo, se tienen en cuenta factores como las emociones de los personajes. El mismo patrón se emplea para encajar una imagen con su correspondiente texto en función de la emoción mostrada en ese momento. Para poner a prueba y entrenar el sistema, se emplearon 16 vídeos de entre dos y seis minutos de títulos USA tan populares como Friends (1994-2004), Titanic (1997), Up in the Air (2009) o el film chino Feng sheng (2009).
Si quieres saber más sobre este proyecto para la creación de cómics automatizada puedes leerte el paper completo, un documento de 19 páginas disponible en PDF para ver y descargar desde el propio repositorio de arXiv.
