Application mobile: Le gant intelligent traduit la langue des signes en discours en quelques secondes

Les scientifiques ont créé un gant qui traduit la langue des signes en discours en quelques secondes grâce à une application pour smartphone.

Le gant de haute technologie envoie des signaux électroniques générés par différents mouvements des doigts à une carte de circuit imprimé, qui sont ensuite transmis sans fil au téléphone.

L’application traduit les lettres des mouvements d’une part, conformément à la norme ASL (American Sign Language), en phrases, qui sont prononcées par une voix automatisée.

La technologie brevetée vise à réduire la barrière de la langue entre les personnes souffrant de troubles de l’audition ou de la parole et celles qui ne comprennent pas la langue des signes.

Faites défiler vers le bas pour la vidéo

L'appareil est peu coûteux, flexible et très durable, selon l'équipe de bio-ingénieurs de l'Université de Californie, LA

L’appareil est peu coûteux, flexible et très durable, selon l’équipe de bio-ingénieurs de l’Université de Californie, LA

Les composants utilisés pour fabriquer l’appareil sont bon marché, flexibles et très durables, selon l’équipe d’ingénieurs des États-Unis, qui prévoient de commercialiser la technologie s’ils peuvent accélérer encore le temps de traduction.

La technologie relaie les mots prononcés à un rythme d’environ un mot par seconde, mais un système encore plus rapide pourrait être proche de reproduire la vitesse des conversations verbales quotidiennes et finalement surmonter la barrière de la langue.

« Notre espoir est que cela ouvre un moyen facile pour les personnes qui utilisent la langue des signes de communiquer directement avec les non-signataires sans avoir besoin de quelqu’un d’autre pour traduire pour eux », a déclaré le professeur Jun Chen de l’Université de Californie à Los Angeles.

« De plus, nous espérons que cela pourra aider plus de gens à apprendre la langue des signes eux-mêmes. »

Le système comprend une paire de gants avec des capteurs minces et extensibles qui parcourent la longueur de chacun des quatre doigts et du pouce.

Les capteurs, fabriqués à partir de lignes de fils électriquement conducteurs, enregistrent les mouvements de la main et le placement des doigts qui représentent des lettres, des chiffres, des mots et des phrases individuels.

Il est capable de lire les lettres individuelles de l’alphabet ASL, ainsi que les signaux d’une seule main qui se rapportent à des phrases spécifiques – comme le symbole de la main pour «Je t’aime», composé du pouce, de l’index et de l’auriculaire levé.

Le système comprend des gants avec des capteurs minces et extensibles qui parcourent la longueur de chacun des cinq doigts jusqu'à une puce de la taille d'une pièce

Le système comprend des gants avec des capteurs minces et extensibles qui parcourent la longueur de chacun des cinq doigts jusqu’à une puce de la taille d’une pièce

L’ASL diffère du système BSL (British Sign Language) – plus particulièrement, le premier utilise une main au lieu de deux.

L’appareil transforme ensuite les mouvements des doigts en signaux électriques, qui sont envoyés à une carte de circuit imprimé de la taille d’une pièce de monnaie sur le gant, positionnée juste au-dessus du poignet.

La carte transmet ces signaux sans fil à un smartphone qui les traduit en mots prononcés à un rythme d’environ un mot par seconde.

Les chercheurs de l’UCLA avaient travaillé avec quatre utilisateurs sourds de l’ASL pour former efficacement le gant et l’application qui l’accompagne.

Les porteurs ont répété chaque geste de la main 15 fois et un algorithme d’apprentissage automatique personnalisé a transformé ces gestes en lettres, chiffres et mots qu’ils représentaient.

Au total, le système a appris à reconnaître 660 signes, y compris chaque lettre de l’alphabet et les chiffres de 0 à 9.

Un rendu numérique du système qui permet de convertir la langue des signes en parole. UCLA a déposé un brevet sur la technologie

Un rendu numérique du système qui permet de convertir la langue des signes en parole. UCLA a déposé un brevet sur la technologie

Les chercheurs ont également collé des capteurs adhésifs sur le visage des testeurs – un entre leurs sourcils et un autre d’un côté de leur bouche – pour capturer les expressions faciales, qui sont un élément clé de l’ASL et changent la signification des signes de la main.

Les alternatives portables précédentes étaient limitées par des conceptions volumineuses et lourdes ou étaient inconfortables à porter, a déclaré le Dr Chen.

Mais le nouvel appareil est fabriqué à partir de polymères légers mais durables, extensibles et peu coûteux attachés à un gant.

L’UCLA a déposé un brevet sur la technologie, bien qu’un modèle commercial basé nécessiterait un vocabulaire supplémentaire et un temps de traduction encore plus rapide.

L’équipe devra également ajuster l’algorithme et l’application pour pouvoir travailler pour BSL et être utilisé à deux mains.

COMMENT LA LANGUE ANGLAISE SIGNIFIE-T-ELLE DANS LE MONDE ENTIER?

Il y a environ 37,5 millions de personnes sourdes ou malentendantes aux États-Unis et la langue des signes américaine (ASL) est la troisième langue la plus utilisée au pays.

L’ASL est un langage complet qui utilise des signes faits en bougeant les mains combinés avec des expressions faciales et des postures corporelles.

C’est la langue principale de nombreux Nord-Américains sourds et l’une des nombreuses options de communication pour les personnes sourdes ou malentendantes.

La langue des signes britannique (BSL) est utilisée à la place de l’ASL au Royaume-Uni.

Les utilisateurs BSL utilisent les deux mains pour l’alphabet tandis que les utilisateurs ASL n’en utilisent qu’un.

Les communicateurs ASL et les anglophones parlent des mêmes compétences neuronales pour discuter, selon un rapport (photo d'archives)

Les communicateurs ASL et les anglophones parlent des mêmes compétences neuronales pour discuter, selon un rapport (photo d’archives)

.

#gant #intelligent #traduit #langue #des #signes #discours #quelques #secondes