Cuando HTC presentó hace ahora cinco años el One M8 quizás no lo sabía, pero tenía entre manos una de las ideas que daría la vuelta al mundo de la fotografía móvil. Con su 'Duo Camera' vendía un sistema de doble lente que, aunque no era el primero en el mercado –eso se lo debemos a la borrachera del vídeo en 3D–, sí que apuntaba a una característica que ha terminado por imponerse en los smartphones de todas las gamas: el modo retrato.
No era el sistema de Lytro –¿recordáis Lytro? Ya no existe–, con el que se comparaba en el momento. Aquel, tras un barrido óptico, permitía escoger el punto de enfoque a posteriori. Más bien, era uno de los primeros procesados digitales que daban a imágenes planas un golpe de realismo, tras aplicar un desenfoque en función de la profundidad a la que se encuentre el objeto. Para eso estaba la segunda cámara.
La necesidad de los sensores ToF
La información de este segundo sensor, al encontrarse separado del principal, permite calcular la distancia a los objetos de la misma forma que nuestros ojos. Según la diferencia de posición de cada punto entre ambos sensores, podemos calcularlo. Así es como se ha hecho desde entonces, aplicando una triangulación al procesado, que acabará distinguiendo por zonas cuáles merecen ser desenfocadas y cuánto.
Por supuesto, el resultado de estos sensores no ha sido siempre el mejor. Este método es muy intensivo con el procesado, y por tanto producía unas imágenes de aspecto 'falsificado' demasiado evidente. Esto es algo que, a pesar de la mejora computacional de los smartphones, sigue ocurriendo en mayor o menor medida independientemente del fabricante y el modelo. No hace más que fijarse en los detalles más complejos, como el cabello.
Así entrenó Google el mejorado modo retrato de sus Pixel 3
Si bien podemos intentar sortear este obstáculo por pura fuerza bruta, como el Nokia 9 PureView y sus cinco cámaras, es probable que estemos interesados en evitar este derroche de recursos, y hay dos formas de conseguirlo. La primera es la que utiliza Google, que entrena un modelo de deep learning o 'IA' que, básicamente, consigue replicar aproximadamente el mapa de profundidad de cinco cámaras desde la imagen capturada por una sola. La segunda, es la que están intentando implementar cada vez más fabricantes en sus teléfonos de gama alta, y es la que nos ha traído hasta aquí: el sensor ToF.
Los sensores ToF –de Tiempo de Vuelo, en inglés–, son básicamente lo que prometen. Una suerte de radar quasi-óptico en miniatura que calcula el tiempo que tarda la luz en ir y volver desde cada punto al smartphone tras emitir una señal inicial y observar cómo se ha modificado esta. De esta forma, conseguimos nuevamente el mapa de profundidad por esta cuarta vía. Esta no es ni óptica como en la fotografía tradicional, ni triangulada como en las cámaras múltiples ni predicha mediante modelos de machine learning. Y hay una diferencia sustancial con ellos: que no hay que calcular nada.
Es el propio sensor el que proporciona la información. La mide directamente. Es por esto que los datos obtenidos son además más precisos. ¿Y por qué no vemos esta luz que emite el sensor? Sencillamente porque es infrarroja y nuestros ojos no son sensibles a luz de tan baja energía. De la misma forma que no vemos –aunque no sea un sensor ToF 3D– cómo Face ID proyecta una matriz de puntos en nuestra cara cada vez que desbloqueamos un iPhone X, como vemos en el vídeo de The Verge:
Imagino que, con las capacidades tan limitadas de todos los métodos, lo realmente vanguardista a día de hoy sería combinar los cuatro disponibles a día de hoy en los dispositivos móviles. Aprovechar las múltiples lentes y su disposición separada, la información procedente del ToF y una última capa de deep learning que le de cohesión a todos los datos. Desafortunadamente, ningún fabricante se ha metido todavía tan lejos. Huawei se acerca con el P30 Pro, ya que utiliza vías de 'IA' junto a este sensor ToF, aunque todavía no está muy clara la implementación del mismo. Parece que de momento se limita a corregir tonalidades e iluminación.
Hay más beneficios de los sensores ToF frente al cálculo como tal. Y es que como se basa en esta información infrarroja, es perfectamente independiente a nivel de sensado de prácticamente cualquier otra condición factible en el día a día. Funciona en la oscuridad e independientemente del factor limitante que sería en un sensor convencional su rango dinámico o diferencia entre zonas claras y oscuras. Pero también es independiente del color del sujeto, de sus reflejos, de la iluminación exterior y tampoco no se ve afectado por cambios en la humedad, presión del aire o temperatura.
Como vemos, todo una nueva mina de datos que aprenderán a explotar desde ya los últimos smartphones. Eso sí, su resolución todavía no es tan grande como en los sensores convencionales. Se reducen a unos 300.000 puntos frente a los millones que vemos en las cámaras convencionales. A cambio, tenemos un ahorro considerable en el procesado de datos, que dejará más CPU libre a otras tareas que así lo requieran, o bien que permitan un mayor ahorro energético y una medición en tiempo real.
Más de un uso, pero todavía en adopción
Aunque fue Vivo quien por primera anunció un terminal con esta tecnología, la aplicaba a su cámara frontal para esta función de desbloqueo facial en un 'notch' generoso. Ahora que muchos están abandonando este diseño por uno con el hueco más mínimo para poner una cámara frontal, parece que quedará relegado a la cámara trasera. Resisten todavía algunos, como el recién presentado LG G8 ThinQ.
Son dos de los smartphones más relevantes de este año quienes lo equipan en su módulo de cámara principal. Uno de ellos es el enorme Galaxy S10 5G, que llegará al mercado próximamente y escapa de la cámara de apoyo que vemos en prácticamente todos sus gamas media, como el Galaxy A7 o Galaxy A9 de 2018. Otro es el recién presentado Huawei P30 Pro, que es uno de los portaestandartes fotográficos y amo de la versatilidad móvil para este año.
Nota curiosa la del Galaxy S10 estándar y su reconocimiento facial, que es el típico de Android y que, sin un sistema de registro de la profundidad, puede ser engañado fácilmente simplemente enseñándole vídeo con tu cara. Esto mismo es lo que le ocurrió a la gente de Unbox Therapy. Recordamos también el Oppo RX17 Pro, que por traerlo lo traía, pero de una forma tan prematura que en su lanzamiento no estaba todavía habilitado. Sus supuestas funciones, las de crear modelos en 3D del objetos, que permitan interactuar con una versión digital de ellos.
Pero más allá de esos usos puramente funcionales y más en línea con este último tenemos el del Honor View 20. Este aprovecha las capacidades de detección en tiempo real del sensor para construir un modelo de realidad aumentada que realice un seguimiento de nuestro cuerpo, con el que interactuar con distintos juegos. Le falta bastante trabajo todavía, desde luego, pero esto llegará.
Su origen y funcionamiento
El sensor ToF o el concepto en sí no es en absoluto un recién nacido. Llevan décadas siendo utilizados en distintos campos, desde la física de altas energías –donde no sólo miden el paso del tiempo, sino que ayudan a distinguir unas partículas de otras en los aceleradores– a sectores más industriales o los propios radares prebélicos del siglo XX, donde se habla eso sí de tiempo de tránsito.
Al final se trata de un pulso de electromagnético como la luz, que se emite de forma controlada, rebota en el sujeto al que apuntemos y vuelve más tarde. Como la velocidad de la luz es conocida y fija, tan solo hace falta medir el tiempo de retraso correspondiente a cada pixel para determinar la distancia a la que se encuentra el objeto en esa dirección. Y como la velocidad de la luz es altísima, de unos 300.000 km/s, es posible repetir este proceso a una frecuencia también enorme.
En la electrónica más cotidiana también habíamos visto este tipo de sensores en marcha, aunque no nos hubieramos parado a llamarlos así. De hecho, esta misma tecnología es la que hacía funcionar el Kinect de Microsoft, que ahora queda relegada a una herramienta compatible con las nuevas Hololens 2 que detecta el espacio en el que nos movemos.
Si vamos al catálogo de Infineon, uno de los principales fabricantes de este tipo de sensores para móviles, se entiende perfectamente por qué es ahora cuando los vemos en los smartphones: la miniaturización de sus componentes.