Creen a Catalunya un sistema per fer traducció automàtica del llenguatge de signes

La traducció automàtica ha arribat al llenguatge de signes. Amanda Duarte, estudiant de doctorat de la Universitat Politècnica de Catalunya i investigadora al Grup de Tecnologies Emergents per a la Intel·ligència Artificial del Barcelona Supercomputing Center (BSC), ha elaborat una gran base de dades que permetrà fer aquest procés amb tècniques d'intel·ligència artificial (IA).

El sistema s'anomena How2Sign. Es va presentar a la Conferència Europea de Visió per Computador i ara s'exposarà a la conferència CVPR 2021, que es farà al juny. El treball es pot llegir a la web ArXiv.

També hi han participat els professors Jordi Torres i Xavier Giró i Nieto, de la UPC i el BSC, i Kenneth DeHaan, de la Universitat Gallaudet de Florida, l'única del món en què els estudis i tota la vida universitària es fan en llengua de signes i en anglès. També hi ha participat investigadors de la Universitat Carnegie Mellon i de Facebook AI.

Moviments en 3D

La base de dades conté més de 80 hores corresponents a més de 2.500 vídeos, on intèrprets de la llengua de signes americana (ASL) tradueixen videotutorials sobre temes diversos -receptes de cuina, trucs de bricolatge i altres qüestions. Amanda Duarte ha trigat uns dos anys a gravar i preparar les dades per al llançament del sistema.

Duarte també va gravar tres hores de vídeo al Panoptic Studio de la Universitat Carnegie Mellon de Pittsburgh, que compta amb un estudi en forma de cúpula equipat amb 510 càmeres. Això permet reconstruir la postura 3D dels intèrprets.

Un exemple de com funciona aquest sistema es pot veure en aquest vídeo del 2015, on es mostra la captura dels moviments d'un grup de persones que interactuen entre elles:

Tot plegat conforma una base de dades que es complementarà amb altres elements, com explica Duarte:

"Els principals avenços en intel·ligència artificial necessiten tres ingredients: els algoritmes, la computació i les dades. How2Sign són les dades que, analitzades per xarxes neuronals profundes en centres de supercomputació, permetran millorar significativament l'accessibilitat a tecnologies com els assistents virtuals o robòtics."

D'aquesta forma, és possible prendre frases en llenguatge de signes i escoltar-les traduïdes a l'anglès. How2Sign conté unes 35.000 frases en llenguatge de signes i un vocabulari d'unes 16.000 paraules en anglès. Altres bases de dades de llenguatge de signes xinès o alemany són molt més limitades.

El projecte es va fer als Estats Units per la disponibilitat de recursos financers i humans. Amanda Duarte ha explicat al 324.cat que l'experiència adquirida permet aplicar-ho a altres idiomes, però adverteix de les dificultats:

"Això requeriria recursos. El projecte ha estat en marxa durant més de dos anys i es pot imaginar el cost i l'esforç d'estendre un projecte d'aquest tipus a altres idiomes, però amb recursos és totalment possible."

Duarte afegeix que, sent el primer cop que es feia, algunes coses van necessitar més temps, "però esperem que, una vegada el sistema estigui funcionant, el mètode es pugui adaptar fàcilment a altres idiomes".

Facilitar l'accessibilitat

How2Sign és un recurs públic que, d'una banda, podrà ser utilitzat per investigadors del camp del processament del llenguatge natural i de visió per computador per avançar en la traducció automàtica i producció del llenguatge de signes.

Però, d'altra banda, també facilitarà l'accessibilitat a la tecnologia a les persones sordes o amb dificultats auditives. Segons l'OMS, en aquests moments més d'un 5% de la població mundial té aquest problema -432 milions d'adults i 34 milions d'infants. Es calcula que el 2050 el problema afectarà més de 700 milions de persones –un de cada deu habitants del planeta.

Una de les primeres aplicacions de How2Sign ha estat el desenvolupament d'una tecnologia que permet transferir els gestos de llenguatge de signes d'una persona a una altra.