¡Hasta el infinito y más allá!

Hell, YEAH! Ahí está el mapa de profundidad recién capturado con la Kinect que me han traído para “jugar”, usando la libfreenect en Ubuntu (en la versión que me descargué tuve que cambiar GL_TEXTURE_RECTANGLE_EXT por GL_TECTURE_RECTANGLE, ya que la pantalla del ejemplo glview salía blanca). Ya, es lo mismo que ha estado apareciendo en multitud de foros, ¡pero ahora está en mis manos!

Donde antes sólo podía trabajar con la información de color RGB devuelta por una cámara, ahora tengo además un mapa de profundidad (en la imagen el rojo es lo más cercano a la cámara y el azul lo más alejado). Así, por ejemplo, es muchísimo más fácil distinguir cosas cuyo color sea parecido al de otras que aparezcan detrás (como una mano delante de una cara), facilitando enormemente la segmentación y clasificación de objetos.

Qué nervios… desde jueguitos para Linux, Windows y Mac usando Kinect a investigación pura y dura en Visión por Computador. ¡Las posibilidades son enormes! ¡Hasta el infinito y más allá!

Y así es como Kinect ve el mundo…

… o al menos la parte interesante, la que le da la habilidad de recuperar la tridimensionalidad de la escena observada. El video muestra la matriz de puntos en el infrarrojo cercano, visible con unas gafas de visión nocturna, que Kinetc utiliza para medir el tiempo que tarda en rebotar la luz de vuelta a sus sensores. Muy parecido a como funciona la ecolocación, pero con luz.

Igual que el sonido que emiten los murciélagos o los delfines rebota de vuelta a sus oidos, permitiéndoles calcular distancias, la luz que emite Kinetc tarda algo más de tiempo en volver desde los puntos más alejados. Y así Kinetc obtiene un mapa 3D de la escena que posteriormente se puede usar para segmentar objetos según su profundidad, color y textura (puesto que Kinetc también cuenta con una cámara que funciona en el espectro visible), lo que permite por ejemplo detectar la pose del jugador y reaccionar adecuadamente. Chulísimo.

PD: Parece que los peces de colores sí pueden ver el infrarrojo cercano… así que si tienes una pecera en el salón se lo van a pasar pipa persiguiendo puntitos