Una de las aplicaciones más espectaculares de la IA en todo su esplendor: así es como vídeos con más de 100 años parecen grabados ahora

La inteligencia artificial no solo sirve para humillarnos al Go o crear alucinantes (y no tan alucinantes) deepfakes: desde hace un tiempo se ha convertido en una poderosa herramienta para devolvernos al pasado.

Lo demuestran la cada vez mayor cantidad de vídeos restaurados a través de técnicas de inteligencia artificial. Aquellas antiguas grabaciones cobran ahora nueva vida al ser coloreadas y adaptadas a resoluciones 4K, y el resultado es todo un viaje al pasado.

Así era la vida hace (más de) un siglo
Este tipo de vídeos comenzaron a aparecer compartidos en redes sociales recientemente. Hablamos por ejemplo aquel vídeo legendario de los Hermanos Lumière de 1896 que mostraba un tren llegando a la estación. Mostramos el vídeo original remasterizado, el vídeo reescalado y suavizado y, por último, el vídeo también con el color aplicado automáticamente con el desarrollo DeOldify del que hablamos más adelante:

Un programador ruso llamado Denis Shiryaev aplicaba entonces dos tipos de proceso sobre un vídeo ya remasterizado en 2017. El primero, el del escalado 4K a través de la plataforma Gigapixel AI de Topaz Labs. El segundo, un generador de fotogramas interpolados llamado DAIN creado por ingenieros de Google que también generaba esas imágenes para suavizar el vídeo.

Esos mismos resultados se aplicaban luego a otros espectaculares vídeos de Shiryaev, como por ejemplo este alucinante recorrido por las calles de la Nueva York de 1911 a partir de un vídeo remasterizado en 2018 que originalmente capturó la empresa sueca Svenska Biografteatern y que conserva incluso los sonidos de la época.

Como explicaba Shiryaev, además del proceso de 'upscaling' a 4K con una ESRGAN y un suavizado a 60 FPS gracias al citado DAIN usó After Effects y algunos plugins para mejorar la definición y los detalles, y aplicó por último la red neuronal propuesta por un desarrollo llamado DeOlfidy para colorear estas imágenes.

El resultado es sencillamente prodigioso, y este tipo de técnicas han ido aplicándose a más y más vídeos de aquella primera época de la cinematografía.

El propio Shiryaev ofrece unos cuantos espectaculares muy antiguos de vídeos tomados en San Francisco en 1906, Amsterdam en 1922, Inglaterra en 1901 o Moscú en 1896, pero además pero le hace un guiño a los vídeos en blanco y negro más relevantes del pasado algo más reciente con el del paseo en el rover lunar del Apollo 16.

La interpolación que da lugar a ese reescalado o sobreescalado es desde hace tiempo más conocida y los sistemas de inteligencia artificial han ayudado a acelerar y mejorar el proceso, pero las cosas se han puesto aún más interesantes a la hora de colorear esas imágenes y lograr que del blanco y negro pasemos a colores bastante convincentes.

DeOldify crea color donde (casi) no lo había
Jason Antic (https://twitter.com/citnaj), un apasionado del software, comenzó a investigar las llamadas redes generativas antagónicas (GAN) a principios de 2019. Como explicaban en el AI Podcast de NVIDIA, tras completar un curso online en Fast.ai para conocer cómo funcionaban las redes neuronales, inició un proyecto singular: el de tratar de aplicar esta rama de la inteligencia artificial a una tarea muy concreta y convertir imágenes en blanco y negro a imágenes en color.

Su trabajo en este campo acabó dando un resultado espectacular: el proyecto DeOldify —con el código en GitHub para que cualquiera lo use— no solo colorea imágenes, sino que las restaura. No es, desde luego, el único proyecto en este sentido.

El proyecto no solo funciona para imágenes individuales, sino que también es posible aplicarlo a vídeos a través de las llamadas NoGAN, un nuevo tipo de sistema GAN que reduce el entrenamiento de la red neuronal y consigue resultados espectaculares que corrigen errores de la aproximación pura que aplicaba DeOldify.

El resultado de ese trabajo se puede aplicar a todo tipo de vídeos. Durante la conferencia Facebook F8 Antic demostró el resultado aplicado a un pequeño fragmento de la película 'Psicosis' de 1960, pero su aplicación se extiende a todo tipo de imágenes y vídeos, y ha sido aprovechada para —entre otras cosas— transformar esos viejos vídeos de principios del siglo XX y lograr que del blanco y negro logremos disfrutarlos en color con unos resultados sorprendentemente convincentes.