TED TALKS Abe Davis: Extraer sonido de las imagenes

"Computer Vision"  es un campo de la ciencia dedicado al estudio y análisis de la imagen, con el fin de emular al ojo humano y ser capaz de extraer y procesar todo tipo de información de las mismas.

Un ejemplo de las aplicaciones que ofrece esta rama es la creación de modelos 3D mediante pares estereoscopicos de imagenes. Mediante algoritmos de busqueda es posible detectar pixeles hermanos en dos imagenes diferentes y deducir su posición en el espacio mediante reglas geométricas.

123D CATCH! de Autodesk es una herramienta muy popular que permite crear modelos 3D a partir de un grupo de imagenes tomadas desde diferentes angulos de forma muy facil, aquí podeis ver un modelo 3D de la fachada del Hospital del Real (Granada) que yo mismo hice hace algún tiempo:

Modelo 3D de la fachada del Hospital del Real (Granada)

En este otro video podeis ver como con la ayuda de un dron y 123D CATCH! es posible mapear la topografía del terreno y obtener modelos 3D:

Lo que me gustaría mostrar ahora es algo que me parece mucho más impresionante y que creo puede tener un sinfín de aplicaciones dentro de la ingeniería de estructuras. 

Se trata de una tecnología presentada recientemente, capaz de extraer información acústica a partir de movimientos en los objetos imperceptibles para el ojo humano.
A partir de una imagen de video, sin sonido, es posible detectar las minisculas vibraciones que las ondas sonoras producen sobre los objetos e interpretar esta información para recuperar el sonido de la imagen.

Lo más interesante de esta tecnología es que no solo se limita a la extracción de sonido, también permite extraer información sobre el comportamiento dinámico de los objetos.

 

Con esta nueva tecnología es posible obtener los modos de vibración de una estructura a partir de una grabación en video de 1 minuto, sin ningún tipo de información adicional.

Pero no solo eso, si no que únicamente con la información extraida de ese minuto de video resulta posible crear una simulación de la estructura donde someterla a diferentes cargas y poder estudiar su comportamiento. En la charla de TED TALKS podeis ver un ejemplo de esto último, unicamente con 5 segundos de video y dando un golpe en una mesa es capaz de crear un modelo virtual de un muñeco de alambre, que se mueve y deforma con la misma rigidez y modos de frecuencia que en la realidad.