#CapisciAMe, la app di riconoscimento vocale per persone con disartria

Lo stato della natura in UE. Rivoluzione bio

4 Gennaio 2021

#Savethebees, salviamo le api! Iniziativa dei cittadini europei

15 Gennaio 2021

Pubblicato da Dario Dongo on 6 Gennaio 2021

Categorie

Disabilità

Alexa, Siri, Google Assistant e le voci speciali

Gli assistenti virtuali più diffusi – Google Assistant, Amazon Alexa, Apple Siri – oltre a offrire nuove ‘comodità’ alla popolazione generale, già oggi rappresentano una innovazione straordinaria per le persone con gravi disabilità motorie. L’assistenza vocale consente oggi di interagire sempre più con l’ambiente esterno, grazie all’evoluzione dei sistemi operativi degli smartphone e della domotica.

La sfida ora riguarda l’accessibilità di questi strumenti a coloro che abbiano difficoltà nell’espressione vocale, causate da malattie e disturbi neuromotori. Poiché le attuali tecnologie di riconoscimento vocale automatico (Automatic Speech Recognition, ASR) non sono in grado di riconoscere le ‘voci speciali’. E i colossi dell’IT, pur disponendo di risorse galattiche, non si sono ancora interessati di trovare il modo di affrontare questa sfida.

#CapisciAMe, la app per riconoscere le voci speciali

#CapisciAMe è la app gratuita, disponibile Google Play Store, sviluppata dall’amico Davide Mulfari. Ingegnere informatico responsabile dell’unità Assistive Technology for Special Needs all’università di Messina, Ph.D. all’università di Pisa, Davide vive in prima persona l’esperienza di disiartria e disabilità motoria. E ha dedicato la sua Beautiful Mind allo sviluppo di un sistema speaker dependent in grado di riconoscere una serie di comandi vocali pronunciati da persone con disartria.

La app può permettere alla persona con disartria di pronunciare facilmente e registrare sul proprio smartphone le parole utili ad attivare i propri dispositivi. Ed è integrata con il framework open-source per casa domotica openHab, oltreché con Google Assistant e altre piattaforme. Ogni utente può registrare più volte la sua voce speciale – con l’unica raccomandazione di parlare in un ambiente più possibile libero da rumori di fondo – in modo da consentire a CapisciAMe di riconoscerle ed elaborarle con un sistema di Artificial Intelligence (AI).

CapisciAMe, lo sviluppo

Gli strumenti di riconoscimento vocale automatico – nell’affrontare le ‘voci speciali’, cioè il parlato con disartria – incontrano il problema della scarsa disponibilità di contributi vocali specifici rispetto all’enorme numero dei modi in cui essa si presenta. Tenuto conto della varietà di problemi fisici che affliggono i potenziali contributori di voci, i quali si aggiungono a un caleidoscopio di timbri vocali, lingue, accenti e cadenze.

CapisciAMe – attraverso un modello di rete neurale convoluzionale applicato a TensorFlow, un framework open source di machine learning di Google – rielabora i contributi vocali e i file audio che li contengono raccolti via Internet attraverso la sua app. Le registrazioni, a seguito di rielaborazione, vanno ad arricchire il database di voci con disartria, in lingua italiana per iniziare.

Crowdfunding di voci speciali

Il database di CapisciAMe viene quindi aggiornato, grazie al contributo di ciascuno, e ricaricato sul PlayStore. In modo che tutti gli smartphone ove essa è stata installata possano venire aggiornati. Gli stessi utenti che vi hanno collaborato apportando le proprie voci e parole possono così beneficiare del loro riconoscimento, senza bisogno di ulteriori elaborazioni.

L’efficacia e l’utilità del riconoscimento vocale sono state anzitutto sperimentate con le 13 parole scelte per il controllo di elettrodomestici, il comando di semplici robot e l’interazione con alcuni videogames. Utilizzando dispositivi a bassissimo costo, quali appunto i tool di OpenHab e le schede Raspberry. Allo stesso modo è possibile utilizzare comandi con protocollo IFTTT.

Sviluppi futuri

Gli sviluppi prefissati nel breve termine riguardano:

incremento del numero di parole e comandi da sottoporre a riconoscimento vocale,
aggiunta di altre lingue. CapisciAMe è già ora in fase di test per la lingua inglese,
sviluppo dell’app per iPhone di Apple, in corso di elaborazione,
sviluppo di interazioni vocali per controllare sedie a rotelle elettroniche smart.

L’evoluzione del progetto potrà aumentare in misura significativa il bacino di utenza ed estendere il riconoscimento al linguaggio naturale. Con l’obiettivo di stimolare le imprese che producono virtual assistant a favorire l’inclusione di coloro che di fatto hanno più bisogno di avvalersi di questi dispositivi, senza costringere gli stessi ad affrontare i costi sbalorditivi di strumenti dedicati. (2)

Invito speciale alle persone con disartria

Tutti coloro che abbiano una ‘voce speciale’ e incontrino difficoltà nel riconoscimento automatico del parlato con disartria sono cordialmente invitati, da Davide e noi tutti, a contribuire allo sviluppo di CapisciAMe.

Basta scaricare gratuitamente la app su Google Play e registrare con la propria voce le parole proposte. Il contributo di ciascuno servirà a migliorare l’addestramento di questa rete neurale, per facilitare la vita di tutti.

Grazie!

Dario Dongo

Note

(1) La disartria è un disturbo neuromotorio della parola spesso associato a disabilità fisiche, anche gravi, che conseguono a Paralisi Cerebrale Infantile, Parkinson, SLA, sclerosi multipla, ictus, etc.
(2) Davide Mulfari ha in ogni caso previsto la possibilità di sviluppare software e/o hardware dedicati, quali reali interfacce per le applicazioni a cui si sta lavorando. Tenendo fede allo spirito no-profit e agli obiettivi originali