SignAloud – guantes que transliteran el lenguaje de señas en texto y voz

POR DAVID LUMB 

Dos estudiantes universitarios de UW ganaron $ 10,000 por construir un guante cargado de gadgets que traduce los gestos del lenguaje de señas en audio.

Estos estudiantes construyeron un guante que traduce el lenguaje de señas al inglés
[FOTO: DENNIS WISE, UNIVERSIDAD DE WASHINGTON]

Un par de estudiantes de la Universidad de Washington hicieron un guante que traduce gestos en lenguaje de señas americano (ASL) al inglés y lo habla a través de oradores. El guante SignAloud les ganó un Premio de Lemelson-MIT Student de $ 10,000 y atención internacional. Ahora están descubriendo cómo perfeccionar sus dispositivos para el bien social … y asegurarse de que aprueben sus exámenes universitarios.

El guante SignAloud captura gestos ASL con sensores que miden todo, desde las coordenadas XYZ hasta la forma en que los dedos se flexionan o doblan. Los datos del sensor se envían a través de Bluetooth a una computadora cercana y se envían a algoritmos de codificación que categorizan los gestos, que se traducen al inglés y luego se los habla por el altavoz. Pero el co-creador Navid Azodi enfatiza que SignAloud todavía está en una fase de prototipo.

“Tenga en cuenta que de ninguna manera hemos capturado todo el lenguaje y no estamos cerca de eso”. [ASL] es más que solo palabras y frases, y lo sabemos. Tiene estructuras gramaticales complejas. Lo que finalmente queremos obtener es que SignAloud clasifique la mayoría del idioma “, dice Azodi.

https://www.youtube.com/watch?v=l01sdzJHCCM

Los dos creadores, Azodi y su compañero de segundo año Thomas Pryor, planearon y construyeron SignAloud en sus dormitorios y CoMotion MakerSpace de la escuela. Después de una primera versión aproximada construida en cartón y cuerda, juntaron el prototipo actual de trabajo por alrededor de cien dólares en partes.

“Muchos de los dispositivos de traducción de lenguaje de señas que ya existen no son prácticos para el uso diario. Algunos usan entrada de video, mientras que otros tienen sensores que cubren todo el brazo o el cuerpo del usuario “, dice Pryor en un comunicado de prensa de UW .

Innovar más allá de las limitaciones existentes es lo que le ganó al equipo el premio de $ 10,000, que Azodi no está seguro de cómo van a gastar. El dinero podría ayudarles a pagar su matrícula o tal vez incluso conseguirles una buena cena, Azodi bromea, pero refinar su dispositivo es la máxima prioridad. Ambos están motivados por las posibilidades de SignAloud, como un dispositivo de entrada y una herramienta de empoderamiento.

“La comunicación es un derecho humano fundamental”, dice Azodi, cuya experiencia personal ayudó a informar la herramienta. “Cuando era joven, en realidad no hablé durante unos siete años de mi vida. Tenía siete años cuando finalmente comencé a hablar. Tuve esa barrera de comunicación por una buena cantidad de tiempo “.

Azodi y Pryor se conocieron cuando eran novatos. Compartieron el deseo de devolverle algo al mundo utilizando sus talentos de ingeniería y su considerable experiencia . Azodi ha sido pasante de sistemas para la NASA, un líder tecnológico para UW Information Technology y un representante del campus para Apple; Pryor ha tenido pasantías en Raytheon y Boeing, es investigador de pregrado en el Laboratorio de estructuras compuestas y es un líder de software en el equipo de robótica de Husky.

Antes de compilar la próxima versión de SignAloud, Azodi y Pryor van a considerar las críticas que recibieron a medida que las noticias sobre su subvención se volvieron globales. Azodi lamenta que el dispositivo fue retratado como una herramienta que hablaría por las personas que no pueden hablar.

[SignAloud]
FOTO: DANIEL KIM, THE DAILY EN LA UNIVERSIDAD DE WASHINGTON

 

“[SignAloud] no es algo que hablará por ellos. Ellos tienen una voz y hablan. Honestamente, hablan mucho más fluidamente de maneras dinámicas y hermosas utilizando sus cuerpos “, dice Azodi. “Esta es una herramienta más para romper esas barreras entre el lenguaje físico de ASL y el inglés o el español”.

SignAloud podría incluso ayudar a traducir ASL a otros idiomas, o ser utilizado como un dispositivo de entrada puro de ASL en una computadora, dice Azodi. Incluso en su estado actual, SignAloud también podría funcionar como una herramienta de enseñanza para las personas que desean aprender ASL, ya que podría darles a los estudiantes información instantánea sobre lo que realmente estaban firmando.

Teniendo en cuenta los comentarios internacionales que han recibido, Azodi está decidida a asegurarse de que el equipo haga los deberes para aprender la sintaxis profunda de ASL, algo con lo que probablemente contraten a un experto para que los ayude. Azodi y Pryor sabían que usar un dispositivo para traducir ASL sería un desafío, pero no anticiparon la dificultad que encontrarían a la hora de rastrear los matices del lenguaje. Y las críticas que recibieron después de que SignAloud fuera publicitado por la prensa los sorprendieron.

“Ninguna de mis experiencias previas puede compararse con ser puesto en el punto de mira nacional y tener personas en todo el mundo lanzando sus críticas y puntos de vista sobre él. Me abrió los ojos a mucho más “, dice Azodi. “Ese proceso de aprendizaje fue uno de, si no la experiencia más humillante. La gente lo llamó un dispositivo milagroso, y no lo es. No se trata de ayudar a las personas; ellos no necesitan ayuda. Se trata de cómo la tecnología puede ser accesible e inclusiva. Es solo un medio de construir puentes y romper barreras “.

 “Somos solo un par de estudiantes universitarios”.

No toda la atención que el dúo recibió fue negativa: gracias a la cobertura de los medios, Azodi y Pryor enfrentan una gran cantidad de ofertas de asociación e inversión. Pero no están precipitándose en nada. Después de todo, como estudiantes de segundo año de la universidad de 19 años, todavía tienen que preocuparse por cosas normales. Van a progresar en SignAloud, pero tienen que trabajar en su calendario de exámenes.

“Las oportunidades para algo como esto son increíbles, ni siquiera puedo categorizar a dónde puede llegar esto. ¿Cuál es la mejor opción para nosotros usando lo que sabemos y lo que podemos hacer? “, Dice Azodi. “No te daré una respuesta definitiva. Somos solo un par de estudiantes universitarios. Acabo de tener exámenes parciales y estamos preocupados acerca de cómo llegar a nuestras mayores “.

Fuente, fastcompany.com

https://youtube/l01sdzJHCCM

 

Desde la traducción de audífonos hasta guantes de lenguaje de señas, increíble tecnología de asistencia.

Por @lukedormehl

Uso de audifonos en mujer PCD

Desde la firma de los brazos del robot hasta los audífonos que leen la mente, los próximos años van a ser bastante asombrosos para la tecnología de accesibilidad si esta lista es algo por lo que seguir. Estos son algunos de los proyectos tecnológicos más impresionantes que hemos encontrado en esta área.

PROYECTO ASLAN

Firmar es muy bueno, pero como cualquier idioma, no es muy bueno si un lado de la conversación no lo dice. Ahí es donde entra en juego un proyecto de robótica de varios años de investigadores de la Universidad de Amberes de Bélgica.

Que han desarrollado una mano robótica impresa en 3D capaz de traducir palabras habladas y escritas en gestos de lenguaje de señas. El dispositivo reconoce estas palabras usando una cámara web, y luego las comunica al usuario a través del “deletreo de dedos”, un modo de lenguaje de señas que explica las palabras letra por letra con gestos con una sola mano.

Aunque no está disponible actualmente, la mano del robot del Proyecto Aslan se puede imprimir en 3D por solo unos pocos cientos de dólares, y promete ser lo suficientemente pequeña como para caber en una mochila.

CÁMARAS QUE PUEDEN TRADUCIR FIRMA

Un robot que puede convertir el habla en lenguaje de señas es bueno, pero para que tenga lugar una conversación completa necesita tecnología que pueda convertir el lenguaje de señas en voz o texto, y voz en texto o lenguaje de señas, y hacer todo esto en tiempo real. -hora.Eso es lo que desarrolló una startup de Dallas llamada KinTrans , con una cámara 3D y un micrófono acompañante que puede determinar lo que se dice o firma, y ​​luego traducirlo de forma rápida y precisa para la otra parte.

Según sus creadores, el sistema ya puede reconocer miles de palabras firmadas con una precisión de alrededor del 98 por ciento. Puede manejar múltiples idiomas, también.

GUANTES INTELIGENTES

¿No te gusta la idea de ser visto por una cámara? No hay problema. En la Universidad de California en San Diego, los investigadores han desarrollado guantes inteligentes de bajo costo capaces de traducir automáticamente el lenguaje de señas americano (ASL) al texto digital que aparece en una computadora o teléfono inteligente correspondiente. No se requiere cámara.

Para usar el guante, el usuario simplemente firma las letras en el alfabeto ASL, que luego se reconocen debido a las variaciones en la resistencia eléctrica. Al igual que Project Aslan, una de las mejores características de esta solución es su bajo precio, por lo que es una solución potencialmente asequible para un problema desafiante. Los componentes en el guante inteligente suman menos de $ 100 en costo.

Si bien todavía es un proyecto de investigación por ahora, podemos imaginar que ese precio baje aún más con la producción en masa.

TECNOLOGÍA DE TRANSCRIPCIÓN DE NUEVA GENERACIÓN

Gracias a los avances en el reconocimiento de voz, la tecnología de voz a texto ha ido mejorando durante años. Pero no siempre es útil para situaciones en las que hay varias personas hablando, como en una configuración de conversación grupal.

Una nueva campaña de Indiegogo llamada SpeakSee , creada por empresarios con sede en los Países Bajos, utiliza micrófonos con clip individuales y tecnología beamforming para aislar el habla de las personas y filtrar el ruido de fondo.

Como resultado, las conversaciones se transforman en transcripciones de guiones , en las que diferentes oradores se resaltan en colores únicos. Estos se pueden leer en una tableta o teléfono inteligente que los acompaña.

AUDÍFONOS CON LECTURA DE ONDAS CEREBRALES

Imagínese si un audífono fue capaz de determinar en qué sonido está tratando de enfocarse y magnificar solo ese audio, al tiempo que calma todo lo demás.

Eso es lo que los investigadores de la Facultad de Ingeniería y Ciencias Aplicadas de la Universidad de Columbia han estado trabajando con un nuevo “audífono cognitivo”,diseñado para ayudar a los usuarios en situaciones como habitaciones atestadas.

El dispositivo funciona monitoreando la actividad cerebral de los usuarios y luego usando una red neuronal profunda para determinar en qué voz del hablante se está concentrando el oyente. En este momento, todavía es un proyecto de investigación, pero esto podría ser transformador cuando llegue al mercado.

OÍDOS SOLARES

Hay cerca de 400 millones de personas en todo el mundo con una discapacidad relacionada con la pérdida auditiva. De estos, más de la mitad vive en países con menores niveles de ingreso a lugares como Estados Unidos. Ese es un problema cuando se trata de audífonos, ya que el costo de los dispositivos y sus baterías puede estar fuera del alcance de muchas personas que de lo contrario podrían ayudar.

Como su nombre lo indica, Solar Ear es un audífono alimentado con energía solar, cuyas baterías están diseñadas para durar de 2 a 3 años, en comparación con los 7 a 10 días de una batería común. Es considerablemente más barato que los audífonos regulares, también.

TRADUCIENDO AUDÍFONOS

Los audífonos permiten que los usuarios sordos o con problemas de audición puedan escuchar las voces de otras personas directamente en sus oídos. Pero, ¿y si pudiera realizar un poco de magia computacional en el camino, y usar la traducción automática para, por ejemplo, transformar las palabras de un hablante nativo de alemán al inglés? Esa es la tecnología que sin duda se convertirá en audífonos de alta gama durante los próximos años.

Ya ha habido algunas demostraciones bastante impresionantes en la forma del Auricular de traducción piloto de Waverly Labs y el TranslateOne2One impulsado por IBM Watson . De repente, los audífonos son un punto de mucho más útil. (De repente, los audífonos están a punto de ser mucho más útiles).

¿ESCUCHANDO A TRAVÉS DE TU … PIEL?

La mayoría de los audífonos son, en nuestra experiencia, abrumadoramente basados ​​en los oídos. Un proyecto de investigación de neurocientíficos en Baylor College of Medicine en Houston, Texas, quiere cambiar eso con la ayuda de un chaleco que les permite a las personas sordas “oír” a través de su piel .

El dispositivo recoge el audio entrante a través del teléfono inteligente de los usuarios y luego lo traduce en vibraciones específicas que el usuario puede sentir en su piel. La esperanza es que, con el tiempo, los usuarios aprendan a procesar estas vibraciones como información casi de la misma manera que una persona ciega podría aprender a leer a través de los toques táctiles de braille.

Hasta donde sabemos, este es un proyecto de investigación en curso, pero una campaña de Kickstarter hace unos años sugiere que el objetivo es desarrollar un producto comercial al final.

Fuente, digitaltrends.com

 

Uso de la AI para ayudar a los estudiantes con discapacidades de aprendizaje a aprender

Uso de la AI para ayudar a los estudiantes con discapacidades de aprendizaje a aprender

 

Los educadores pueden tener un momento difícil adaptando su estilo de enseñanza para que coincida con cada alumno, especialmente cuando hay alumnos con discapacidades de aprendizaje en el aula. Una discapacidad de aprendizaje presenta un obstáculo único a los métodos de enseñanza tradicionales. Puede ser difícil en un aula contemporánea para los maestros darles a los estudiantes la atención y la instrucción que realmente necesitan. Ahora, es posible que puedan recibir esa instrucción mediante el uso de inteligencia artificial.

La inteligencia artificial crece rápidamente y es más útil cada día. Los investigadores están desarrollando sistemas cognitivos que pueden ayudar a apoyar a las personas con discapacidades en las formas únicas que se adaptan a ellos. Estos programas de AI pueden presentar material de una manera nueva que pueda ayudar a los alumnos a comprender mejor independientemente de la instrucción del maestro.

La tecnología puede presentar material en términos comprensibles.

Los estudiantes con dificultades de aprendizaje a menudo tienen dificultades para leer textos más avanzados.Es posible que no puedan seguir estructuras de oraciones complejas, o podrían tener problemas con los modismos populares que se encuentran en el texto mismo. Los científicos e investigadores están moldeando la inteligencia artificial que puede convertir estos textos más difíciles en recursos más comprensibles . Podrían crear una oración más simple o reemplazar las bromas populares con alternativas más simples. Debe ser una excelente manera para que los estudiantes con discapacidades de aprendizaje se relacionen mejor y se relacionen con el material.

La inteligencia artificial ayuda a los educadores a identificar problemas de aprendizaje.

El primer paso para aprender a trabajar con estas discapacidades es identificar su presencia en un alumno. No todos los métodos de prueba actuales son altamente efectivos para detectar discapacidades de aprendizaje como dislexia o discalculia. Se están desarrollando nuevos sistemas de inteligencia artificial para ayudar a los maestros a administrar pruebas más efectivas que podrían descubrir algunas de estas condiciones a menudo ocultas. Una vez que pueden identificarse correctamente, los educadores pueden aprovechar los recursos disponibles para una discapacidad de aprendizaje.

Los estudiantes pueden usar IA para dar comentarios confiables.

Uno de los problemas más importantes con la enseñanza de los estudiantes que tienen una discapacidad de aprendizaje es la incapacidad de proporcionar comentarios consistentes. En un aula grande, puede ser un desafío disminuir la velocidad para ayudar a un puñado de estudiantes. Con la inteligencia artificial en rápido desarrollo, los estudiantes pueden recibir comentarios más confiables directamente relacionados con su propio desempeño. El sistema no avanzará hasta que los estudiantes demuestren el dominio del concepto y les permita trabajar a través del material a su propio ritmo si es necesario.

Los educadores pueden tener más datos.

Los números rara vez mienten cuando se trata de determinar el éxito en el aula. Con el advenimiento de la inteligencia artificial, los educadores tienen más acceso que nunca a una variedad de datos que pueden ayudarlos a identificar debilidades en el aula. Esta información puede revelar áreas donde la enseñanza no es efectiva o asignaturas donde la mayoría de los estudiantes tienen dificultades. También les da a los educadores una mejor idea de cómo los estudiantes con discapacidades de aprendizaje realmente están haciendo en comparación con sus compañeros.

La inteligencia artificial está constantemente abriendo nuevas puertas para los educadores y sus estudiantes, incluso aquellos con discapacidades de aprendizaje. La promesa de una educación más personalizada con el uso de inteligencia artificial es atractiva. Los académicos pueden ser mucho más simples para los estudiantes con discapacidades de aprendizaje que históricamente han tenido dificultades para comprender el material y mantenerse al día con sus compañeros en un entorno académico.

Fuente, thetechedvocate.org

Web Captioner, más accesibilidad con subtítulos en tiempo real.

imágen del front de la web de webcaptioner.com

Hace unos días navegando por la Internet encontré esta web que me sorprendió y me prometí que tenía que darla a conocer, estoy seguro que será de gran ayuda para personas que tienen alguna discapacidad visual, motriz, etc.

Pero hablemos francamente, esta aplicación es para todos, ya la probé y puedo decir que es genial, ayuda bastante y aplica a lo que tanto insisto como accesibilidad universal, ayuda a todos, con o sin discapacidad, si tienes alguna discapacidad temporal, y también a cualquier persona que no desea escribir directamente en el teclado, vuelvo a repetirlo es extremadamente genial y espero que les sirva a todos los que leen el blog, difúndalo porque es muy útil.

El site se llama Web Captioner y los ámbitos de uso son innumerables, pruébenla, eso sí, hablen moderadamente y con mucha calma y tranquilidad, no se olviden de configurar el aplicativo web en el idioma nativo que hablan.

¡Nos leemos!

Home de Web Captioner

 

 

La nueva tecnología permite a las personas con discapacidad integrarse en el lugar de trabajo

Por Olive Keogh

Las aplicaciones de asistencia abren oportunidades principales para las personas con discapacidad

Un dispositivo braille para usuarios de computadoras ciegas. La Asociación para el Acceso a la Educación Superior y la Discapacidad tiene aproximadamente 1,000 graduados en sus libros que están buscando trabajo. Fotografía: iStock
Un dispositivo braille para usuarios de computadoras ciegas. La Asociación para el Acceso a la Educación Superior y la Discapacidad tiene aproximadamente 1,000 graduados en sus libros que están buscando trabajo. Fotografía: iStock

 

Christina McCarthy estudió francés y español en la universidad y sus habilidades lingüísticas son muy útiles para su trabajo de primera línea con Enterprise Rent-a-Car. McCarthy tiene discapacidad visual, pero con la ayuda de la tecnología de asistencia puede hacer su trabajo de manera tan competente como cualquier otro empleado.

Dell, CitiBank, IBM , Microsoft y Deloitte son solo algunas de las compañías de renombre que han hecho un esfuerzo consciente por utilizar tecnologías de asistencia para ayudar a los jóvenes graduados con discapacidades a ingresar al lugar de trabajo. Y esto no es un alivio para la corrección política. Estos son jóvenes bien calificados que solo necesitan lo que Ann Heelan, directora ejecutiva de Ahead (la Asociación para el Acceso a la Educación Superior y la Discapacidad) describe como “adaptaciones razonables” para permitirles funcionar eficazmente en el lugar de trabajo convencional.

“El problema sigue siendo que los empleadores ven primero la discapacidad, no la persona o sus habilidades o lo que pueden aportar a una organización”, dice Heelan. “Todavía hay un estereotipo prevaleciente que crea un sesgo, consciente o inconsciente, que equipara la discapacidad con la dificultad y el costo.

“De hecho, nuestra investigación de los últimos 10 años muestra que, en el 60% de los casos, no hay un costo adicional para emplear a alguien con una discapacidad. Lo que se necesita es un cambio en el proceso de contratación y la mentalidad prevaleciente para reconocer que estos jóvenes pueden aportar un conjunto de habilidades completamente nuevo a un negocio. Las empresas necesitan talentos de buena calidad y esta es una avenida en la que está disponible si están dispuestos a dar los pasos necesarios “.

Software

En el caso de McCarthy, Enterprise gastó aproximadamente € 14,000 en desarrollar un software para integrar su sistema de reservas con la tecnología de lectura braille de McCarthy. Un porcentaje del costo fue compensado por una subvención del Gobierno disponible para todas las empresas que agregan tecnologías de asistencia en el lugar de trabajo.

“Como empresa, estamos muy comprometidos con la diversidad y con tener una fuerza de trabajo que refleje a la sociedad como un todo, y para nosotros era muy importante llevar el proyecto a la práctica”, dice el supervisor de operaciones de Enterprise, Peter Walsh . “Nadie antes había intentado hacer algo como esto con nuestro sistema de alquiler, pero nuestra gente en Londres y San Luis y una fantástica compañía británica, Blazie [que se especializa en apoyar las necesidades tecnológicas de asistencia de las personas ciegas y deficientes visuales en los negocios] un gran esfuerzo para hacerlo realidad.

“Fue una tarea realmente grande escribir todo el código necesario y probarlo. Por el momento, Christina solo está usando en nuestra oficina de Dublín, pero somos una gran compañía internacional y las personas dentro de la organización están comenzando a darse cuenta de que esto se puede y se ha hecho y esperamos que se extienda.

“También tenemos un miembro del personal que usa una silla de ruedas y ha hecho modificaciones para facilitar esto, como cambiar nuestras salidas, proporcionar un vehículo modificado y reducir la altura de nuestro mostrador”.

Las personas con impedimentos tienen diferentes necesidades y Heelan aconseja a las compañías interesadas en emplear a una persona con discapacidad que consulten el sitio web de Ahead o que primero hablen con la organización para obtener ayuda.

“La mejor práctica es llevar a cabo una evaluación de necesidades individuales, que es esencialmente una consulta estructurada para determinar lo que alguien necesita agregar o cambiar para poder desempeñar su función. Esta evaluación proporciona un marco para garantizar que el empleador “lo haga bien” desde una perspectiva personal y legal “, dice ella.

Los ejemplos de tecnologías de asistencia incluyen software de lectura de pantalla que leerá en voz alta auriculares, dictado de voz, auriculares amplificados y escáneres ópticos.

En un nivel práctico, “adaptaciones razonables” podría incluir aumentar el tamaño de letra en la pantalla de una computadora, ubicar a alguien cerca de un baño accesible, proporcionar muebles de una altura adecuada, mantener los pasajes libres de obstáculos y tener los elementos básicos como rampas accesibles para sillas de ruedas y ascensores.

A continuación hay alrededor de 1,000 graduados en sus libros que están buscando trabajo y Heelan dice que una vez que las empresas se toman la molestia de conocer a uno de sus graduados, comienzan a ver a la persona y lo que tienen que ofrecer.

Feria de empleo

El 25 de mayo, CitiBank y Ahead organizarán una feria en las oficinas de Citi en Dublín (abiertas a todos) donde los graduados con discapacidades puedan conocer a posibles empleadores. Habrá 20 empresas que alojarán stands allí, incluidos Accenture , ESB, Deutsche Bank, EY y Enterprise.

Para las empresas que no están seguras de dar el paso, involucrarse con el programa WAM (mentoring dispuesto) administrado por Ahead puede ser un buen primer paso. Es un programa de inserción laboral que tiene como objetivo desarrollar la capacidad de los empleadores para integrar la discapacidad en el lugar de trabajo convencional. Las empresas participantes asisten a eventos de aprendizaje y colaboran con WAM para ofrecer prácticas de trabajo remuneradas y con mentores para los graduados con discapacidades. Hasta la fecha, más de 300 graduados han sido asignados a través del programa.

Un asombroso 86 por ciento de las personas con discapacidad visual están desempleadas y Christina McCarthy describe el trabajo para Enterprise como su primer trabajo “real”. Ella acredita el compromiso del gerente de recursos humanos del grupo de Enterprise, Leslee O’Loughlin, y Peter Walsh por hacer que esto suceda.

“Ya usé la tecnología y tenía una idea clara de lo que necesitaba para hacer el trabajo y me conocieron sobre eso”, dice McCarthy. “Creo que la mayoría de las personas con discapacidad sabrá qué tecnología está disponible, así que mi consejo es preguntarles qué necesitan.

“Nunca criticaría a ningún empleador por hablar sobre diversidad e inclusión, pero ellos tienen que caminar, como lo hizo Enterprise, no solo hablar”.