Tecnologia assistiva: a inserção de uma ferramenta web na promoção de uma melhor comunicação entre surdos e ouvintes

Abstract

Os surdos enfrentam muitos problemas no acesso ao atendimento ao cliente. As tecnologias assistivas (ATs) fornecem a assistência necessária ao usuário para realizar uma ação que pode ajudá-lo a executá-la de forma mais fácil e/ou mais segura. Tecnologia Assistiva é uma área do conhecimento, de característica interdisciplinar, que engloba produtos, recursos, metodologias, estratégias, práticas e serviços os quais objetivam promover a funcionalidade, relacionada à atividade e à participação, de pessoas com deficiência, incapacidades ou mobilidade reduzida, visando à sua autonomia, à sua independência, à sua qualidade de vida e à sua inclusão social. Até o presente momento, a multinacional chinesa de tecnologia escolhida para o desenvolvimento deste trabalho não emprega, globalmente, nenhuma ferramenta de acessibilidade em linguagem de sinais em seus produtos ou websites. Isso se torna um grande problema, por exemplo, quando a empresa precisa atender a algum chamado de assistência técnica: não é possível a um surdo ou a um mudo conversar com o Atendimento ao Cliente via telefone ou chat, pois não há recurso capaz de permitir que eles dialoguem em Libras por meio de canais de comunicação como bate-papos. Devido à importância da promoção da acessibilidade nas corporações, o objetivo deste trabalho é criar um meio que facilite a interlocução das pessoas com surdez ou mudez de modo bidirecional (pergunta e resposta), usando linguagem de sinais no atendimento ao consumidor pelo acesso ao website de suporte técnico dos seus produtos. Foram utilizados o sistema Elis (Escrita de Língua de Sinais), devido à forma de notação idealizada para representar as línguas de sinais em sua modalidade escrita, e o Deep Learning, que são, essencialmente, redes neurais para lidar separadamente com o problema de reconhecimento de sinais e tradução. Na primeira classe de palavra, sem que fosse utilizado Cross validation e gerado um modelo genérico qualquer — como vídeo inserido na rede —, alcançou-se acurácia de 75%. Já com os resultados, a partir de oito das onze classes de palavras, foi obtida uma média de grau de certeza da classificação de 92% como efeito alcançado (vídeos da internet). Já no ambiente controlado, temos precisão de 99% (com definição do padrão para gravação de vídeo, fundo da tela etc.). A importância deste trabalho está na promoção da acessibilidade através da criação de um instrumento que torne possível para as pessoas surdas ou mudas o acesso a informações de qualidade, assim como as facilidades que tecnologias atuais oferecem.

Deaf people face many problems in accessing customer service. Assistive technologies (ATs) provide the necessary assistance to the user to perform an action that, on the contrary, would not be feasible or could help the user to perform an easier or safer action. Assistive Technology is an interdisciplinary area of knowledge, which encompasses products, resources, methodologies, strategies, practices, and services that aim to promote the functionality, related to the activity and participation, of people with disabilities, disabilities, or reduced mobility, aiming at their autonomy, independence, quality of life and social inclusion. Up to the present moment, the Chinese technology multinational used for the development of this work does not globally employ any sign language accessibility tools in its products or websites. This is a big problem, for example, when the company needs to answer a call for technical assistance: a deaf person cannot talk to Customer Service via phone or chat, as there is no tool capable of allowing them to talk on LIBRAS through communication channels like chats. Due to the importance of promoting accessibility in institutions, this work aims to create a tool that facilitates the communication of people with deafness in a bidirectional way (question and answer) using sign language in customer service by accessing the website of technical support for your products. The Elis (Sign Language Writing) system was used due to the form of notation idealized to represent sign languages in their written form. Deep Learning was used, essentially, neural networks, to deal separately with signal recognition and translation. In the first word class, without using Cross-validation and generating a generic model for any video inserted in the network, an accuracy of 75% was achieved. With the results being obtained from eight of the eleven-word classes, an average degree of certainty of the classification of 92% was obtained as a result achieved (videos from the internet). We have 99% accuracy (with the definition of the standard for video recording, screen background, etc.). This work is important in promoting accessibility by creating a tool that allows people with deafness to access quality information and facilities that current technologies offer.