Investigadores de la Universidad Nacional de Singapur han lanzado la aplicación AiSee para ayudar a las personas con discapacidad visual a “ver” con la ayuda de inteligencia artificial.

La sencilla tarea de hacer la compra puede ser un desafío para las personas con discapacidad visual, ya que identificar los artículos comestibles puede resultar abrumador.

Para ayudarlos en este y otros esfuerzos, un equipo de investigadores de la Escuela de Computación de la Universidad Nacional de Singapur (NUS Computing) ha presentado AiSee, un dispositivo asistente portátil asequible que ayuda a las personas con discapacidad visual a “ver” las cosas a su alrededor con la ayuda de inteligencia artificial construida sobre Chat GPT-4. En comparación con la mayoría de los asistentes portátiles que requieren emparejamiento con un teléfono inteligente, AiSee funciona como un sistema independiente que puede funcionar de forma independiente sin necesidad de ningún hardware adicional.

Desarrollado por primera vez en 2018 y actualizado gradualmente a lo largo de cinco años, AiSee incluye unos auriculares de conducción ósea para evitar cualquier estigma. La tecnología de conducción ósea permite que el sonido se transmita a través de los huesos del cráneo. Esto garantiza que las personas con discapacidad visual puedan recibir información auditiva de forma eficaz y al mismo tiempo tener acceso a sonidos externos, como conversaciones o ruido del tráfico. Según el equipo, en lugar de desarrollar su propia IA, han estado experimentando con el factor de forma portátil, utilizando diferentes modelos de IA (Google Vision API, GPT3, etc.), indicaciones y comentarios de voz desde 2019.

El usuario simplemente necesita sostener un objeto y activar la cámara incorporada para tomar una foto del objeto. AiSee utiliza algoritmos de IA basados ​​en la nube para procesar y analizar imágenes capturadas para identificar el objeto. También proporcionará más información cuando el usuario la solicite mediante el reconocimiento avanzado de texto a voz y de voz a texto.

El investigador principal del proyecto AiSee es el profesor asociado Suranga Nanayakkara del Departamento de Sistemas de Información y Análisis de NUS Computing, y su equipo está actualmente en conversaciones con SG Enable en Singapur para realizar más pruebas de usuario con personas con discapacidad visual para ayudar a refinar y mejorar las funciones de AiSee. Y rendimiento. El equipo también recibió una subvención de 150.000 dólares singapurenses de BP De Silva Holdings Pte Ltd para apoyar el proyecto.