Classificação de libras em imagens através de redes neurais convolucionais
Libra classification in images through convolutional neural networks
DOI:
https://doi.org/10.34117/bjdv8n12-269Keywords:
libras, visão computacional, redes neurais convolucionais, YOLOv5Abstract
A alfabetização de pessoas surdas, é atualmente um grande desafio que tem gerado muitas discussões no contexto educacional. Apesar da existência da linguagem de sinais (Libras), a capacitação de pessoas para a realização de atividades de ensino nesta área é bastante escassa, e isso tem dificultado bastante o processo de ensino e aprendizagem de indivíduos com ou sem problemas auditivos. Com o crescimento da internet e das tecnologias computacionais, houve a necessidade da criação de aplicações avançadas de inteligência artificial para aprimorar este processo. Um marco bastante importante foi o surgimento da Visão Computacional, que é uma área da inteligência artificial que procura analisar, fazer a interpretação e a extração de determinadas informações úteis de imagens, estudando também a utilização de emoções, reconhecimentos, e análise de movimentos interativos de seres humanos através de sistemas informatizados de I.A. que simulam os pensamentos e ações de seres humanos. O tema deste trabalho aborda uma pesquisa relacionada à aplicação de redes neurais convolucionais (ou profundas), que são ligadas à visão computacional de forma análoga. Foram realizados experimentos através de uma base de dados de Libras que serviu de suporte para o treinamento das imagens através do algoritmo de redes neurais profundas YOLOv5 para a realização da Classificação de alguns grupos de 6 e 7 imagens. Posteriormente, foram comparados os resultados dos testes, e observados quais épocas obtiveram uma melhor performance durante a classificação das imagens de Libras.
References
ALMEIDA, S. M. S. Intérprete da Língua de Sinais – LIBRAS: mediador ou educador. Trabalho de Conclusão de Curso de Graduação em Letras -
ALVES, Gabriel. Detecção de Objetos com Yolo: uma abordagem moderna. IA Expert, Porto União, SC. 13 de Out. de 2020. Disponível em: <https://iaexpert.academy/2020/10/13/deteccao-de-objetos-com-yolo-uma-abordagem-moderna >. Acesso em: 20 de abr. de 2021.
ALVES, Gabriel. Simplifying Classification Workflows With YOLOv5. ultralytics. 30 de Abr de 2022. Disponível em: <https://ultralytics.com/article/Simplifying-Classification-Workflows-With-YOLOv5-v6.2 >. Acesso em: 20 de Ago. de 2022.
ALVES, Melo Priscila. Inteligência Artificial e Redes Neurais. IPEA, 11 de jun. de 2020. Disponível em: <https://www.ipea.gov.br/cts/pt/central-de-conteudo/artigos/artigos/106-inteligencia-artificial-e-redes-neurais>. Acesso em: 20 de set. de 2021.
applications invision. In: IEEE. Circuits and Systems (ISCAS), Proceedings of 2010
APPOLINÁRIO, F. Dicionário de metodologia científica: um guia para a produção do conhecimento científico. São Paulo: Atlas, 2004.
BALLARD, Dana H; BROWN, Christopher M. ISBN 0-13-165316-5. Computer Vision. New Jersey: Editora Prentice Hall, 1982.
BARELLI, Felipe. Introdução à Visão Computacional. Uma abordagem prática com Python e OpenCV. 1º.ed. São Paulo: Casa do Código, 2018.
BASTOS, I. L. O. Reconhecimento de sinais de libras utilizando descritores de forma e redes neurais artificiais. 2015. Dissertação (mestrado) – Pós-Graduação em Ciência da Computação da Universidade Federal da Bahia e Universidade Estadual de Feira de Santana. 2015. Disponível em: <https://repositorio.ufba.br/ri/bitstream/ri/19374/1/Igor%20%20Bastos%20-%20Disserta%c3%a7%c3%a3o%20VFinal.pdf>. Acessado em: 10 de fevereiro de 2021.
BOCHKOVSKIY, A.; WANG, C.-Y.; LIAO, H.-Y.M. Yolov4: Optimal speed and accuracy of object detection. arXiv preprintar Xiv: 2004.10934, 2020.
BORGES, Lucas C.; Obara, Eduardo N.; Leite, Claudia Z.; Rocha, Fabiano G. (2015). Glossário interativo de Libras para a área de Computação. Computer on the Beach, Florianópolis/SC.
BOTELHO, Paula. Linguagem e letramento na Educação dos Surdos: ideologias e práticas pedagógicas. Belo Horizonte: autêntica, 2002.
BRASIL. Lei nº 10.436, de 24 de abril de 2002, que dispõe sobre a Língua Brasileira de Sinais – Libras. Brasília: MEC, 2002.
CASTRO, Alberto Rainha de; CARVALHO, Ilza Silva de. Comunicação por língua brasileira de sinais: livro básico. 3ª ed. – Brasília: Senac/DF, 2009.
CHAVES, Magaly. Recomendações pedagógicas para desenvolvimento de ambientes virtuais de aprendizagem, construcionistas, para surdos, na perspectiva do usuário. 2019. Dissertação de mestrado - Pós-Graduação em Modelagem Computacional de Sistemas da Universidade Federal do Tocantins. 2019. Disponível em: < https://repositorio.uft.edu.br/bitstream/11612/1447/1/Magaly%20Liliane%20Chaves%20Campos%20-%20Disserta%C3%A7%C3%A3o.pdf> . Acessado em: 10 de fevereiro de 2021.
DETECÇÃO de rosto OpenCV vs Detecção de Rosto Yolo. Base App, 2018. Disponível em: < https://www.baseapp.com/deepsight/opencv-vs-yolo-face-detector>. Acesso em: 12 de janeiro. de 2021.
DIFICULDADES de Aprendizagem em Surdos. Portal Educação. 2020. Disponível em: https://siteantigo.portaleducacao.com.br/conteudo/artigos/idiomas/dificuldades-de-aprendizagem-em-surdos/26871 . Acesso em: 10 de jun. de 2021.
FERREIRA, Ricardo. CANESCHE, Michael; CARVALHO, Westerley. Minicurso de programação em GPU do ambiente Google Colaboratory. 2020. Disponível em: <http://wscad.sbc.org.br/2020/artigos/minicursos/minicurso3-Prog-GPU-Colaboratory-texto.pdf>. Acessado em: 22 fev. de 2021.
FLECK, Leandro; TAVARES, Maria Hermínia Ferreira; EYNG, Eduardo; HELMANN, Andrieli Cristina; ANDRADE, Minéia Aparecida de Moares. Redes Neurais Artificiais: Princípios básicos. Revista Eletrônica Científica Inovação e Tecnologia. 2016. Disponível em: <https://periodicos.utfpr.edu.br/recit/article/view/4330>. Acessado em: 10 de julho de 2021.
GÓES, J. W. F. Aperfeiçoamento de um sistema de reconhecimento de padrões do alfabeto de libras utilizando luva sensora. 2019. Disponível em: <http://repositorio.utfpr.edu.br/jspui/bitstream/1/24355/1/PB_COENC_2019_1_03.pdf >. Acessado em: 20 de fevereiro de 2021.
GOLDFELD, M. A criança surda: Linguagem e cognição numa perspectiva sócio interacionista. 2ª ed. São Paulo: Plexus Editora, 2002.
GONZAGA, A. Kanguera: Olho Local Mão Distante. 2011. Disponível em: < http://iris.sel.eesc.usp.br/weblab/default.html>. Acesso em 14 de junho de 2021.
HAYKIN, S. S. Neural netwo L. FLECK, M. Tavares, E. Eyng, A. Helmann, and M. Andrade, “Redes neuraisartificiais: Princípios básicos,”Revista Eletrônica Científica Inovação e Tecnologia,vol. 1, no. 13, pp. 47–57, 2016. rks and Learning Machines. vol. 3. Pearson Upper Saddle River, NJ, USA: 2009
IBGE – INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA. Censo Brasileiro de 2020. Rio de Janeiro: IBGE, 2020.
KARNOPP, Lodenir; QUADROS, Ronice Muller de. Educação infantil para surdos. In: ROMAN, Eurilda Dias; STEYER, Vivian Edite. (Org.). A criança de 0 a 6 anos e a educação infantil: um retrato multifacetado. Canoas, 2001, p. 214-230.
LAKATOS, E. M.; MARCONI, M. A. Fundamentos metodologia científica. 4.ed. São Paulo: Atlas, 2001.
LECUN, Yann et al. Gradient-based learning applied to document recognition. Proceedings of the IEEE, v. 86, n. 11, p. 2278-2324, 1998.
LECUN, Y.; KAVUKCUOGLU, K.; FARABET, C. Convolutional networks and applications in vision. Paris: IEEE, 2010.
LÉVY, Pierre. Cibercultura. São Paulo: Editora 34, 2005.
MEDEIROS, Moisés de. Seleção de principais atributos para Redes Neurais Artificiais do tipo MLP: um estudo de caso sobre mineração de dados para diagnóstico de dengue. Trabalho de Conclusão de Curso de Graduação em Sistemas de Informação da Universidade Federal do Rio Grande do Norte, UFRN. Caicó, 2018.
MILANO, Danilo de; HONORATO, Luciano Barrozo. Visão computacional. Universidade Estadual de Campinas, 2010.
MOURA, Débora Rodrigues. Módulo1: introdução à surdez e a Libras. Enap. 2016. Disponível em: https://repositorio.enap.gov.br/handle/1/3172 . Acessado em: 22 de abril de 2021.
MOURA, Flávio Rafael Trindade, et al. "Contamination risk estimation model for respiratory diseases in monitored environments using YOLOv5." Anais do XLIX Seminário Integrado de Software e Hardware. SBC, 2022.
NEVES, Luiz Antônio Pereira; VIEIRA NETO, Hugo; GONZAGA, Adilson. SBN: 978- 85-64619-09-8. Avanços em Visão Computacional. Curitiba: Omnipax Editora, 2012.
PACHECO, J. Caminhos para a inclusão: um guia para o aprimoramento da equipe escolar. Porto Alegre: Artmed, 2007.
PAVAN, Adilson. OSSADA JUNIOR, J. C. MODESTO, F. reconhecimento de gestos com segmentação de imagens dinâmicas aplicadas a libras. Campinas, SP, 2010. Disponível_em:_<https://repositorio.pgsskroton.com/bitstream/123456789/1240/1/artigo%2023.pdf>. Acessado em: 08 de maio de 2020.
PAVLOVIC, V. I; SHARMA, R.; HUAN, T. S. Visual Interpretation of Hand Gestures for Human-Computer Interaction. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 19, no 7, 1997.
PIRES, Vanessa De Oliveira Dagostim. Andamento Coletivo como Prática de Ensino-Aprendizagem de Língua Portuguesa para Surdos. 2009. 143 f. Dissertação (Mestrado) - Programa de Pós-graduação em Linguística Aplicada, Universidade do Vale do Rio Dos Sinos, São Leopoldo, 2009.
QUEIFER, H. S. Reconhecimento de gestos para acionamento de objetos usando CNN e o algoritmo haar cascade. 2019. Disponível em: <https://dspace.bc.uepb.edu.br/jspui/handle/123456789/21842>. Acessado em: 03 de abril de 2021.
RAUBER, T. W. Redes neurais artificiais. Universidade Federal do Espírito Santo, Departamento de Informática, 2005.
REDMON, Joseph. How computers learn to recognize objects instantly. Youtube, 17 de ago. 2017. Disponível em: < https://www.youtube.com/watch?v=Cgxsv1riJhI&t=356s>. Acesso em: 15 jan. 2021.
RODRIGUES, Diego Alves. Deep Learning e redes neurais convolucionais: reconhecimento automático de caracteres em placas de licenciamento automotivo. 2018. Monografia – Universidade Federal da Paraíba (Centro de Informática). Disponível em: https://repositorio.ufpb.br/jspui/bitstream/123456789/15606/1/DAR20052019.pdf . Acessado em: 01 de abril de 2021.
Rosa, A. S., & Cruz, C. C. (2001). Internet: Fator de inclusão da pessoa surda. Revista Online da Biblioteca Prof. Joel Martins, 2, 38-54. https://doi.org/10.20396/etd.v2i3.580.
SACRAMENTO, Gabriel. Dataset: entenda o que é e conheça 10 fontes conviáveis. Somostera, 10 de setembro de 2021. Disponível em: <https://blog.somostera.com/data-science/dataset>. Acesso em: 20 de agosto de 2022.
SANTOS, Carlos Alexandre Silva dos. Reconhecimento de Imagens de Marcas de Gato Utilizando Redes Neurais Convolucionais. 2017. Dissertação de mestrado – Pós-graduação em Engenharia Elétrica - Universidade Federal do Pampa. Disponível em: < http://dspace.unipampa.edu.br/jspui/handle/riu/2028> . Acessado em: 12 de março de 2021.
SANTOS, Clebeson Canudo dos. Sistemas de Reconhecimetno de Gestos e ações em tempo real baseado em visão computacional. 2020. Tese (Doutorado) – Curso de Engenharia Elétrica, Universidade Federal do Espírito Santo, Centro Tecnológico. 2020.
SANTOS, Rodrigo Neves dos. Reconhecimento de gestos de mão humana em imagens de vídeo. São Carlos SP, 2011. Disponível em: <http://www.tcc.sc.usp.br/tce/disponiveis/18/180450/tce-29032012-085236/?&lang=brDISCENTE>. Acessado em: 14 de abril de 2021.
SILVA, Carine Mendes da; SILVA, Daniele Nunes Henrique. Libras na educação de surdos: o que dizem os profissionais da escola? Psicologia Escolar e Educacional, Maringá, 2016. Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1413-85572016000100033&lng=en&nrm=iso>. Acesso em: 5 dezembro. 2020.
SILVA, Ivani Rodrigues. Línguas em contato e em Conflito: A Trajetória do Aluno Surdo na Escola. In: II Simpósio Internacional sobre Bilinguismo, 2002, Galicia. Actas/Proceedings II Simposio Internacional Bilinguismo, 2002. p. 1807-1813.
SITE OFICIAL DO ROBOFLOW, Roboflow, 2021. Disponível em: <https://roboflow.com/> . Acesso em: 14, mar 2021.
SKLIAR, Carlos. A surdez: um olhar sobre as diferenças. Porto Alegre: Editora Mediação, 2015.
SURDEZ no Brasil: acessibilidade ainda é um desafio diário. EuSaúde, 2021. Disponível em: https://portal.eusaude.com.br/surdez-no-brasil-acessibilidade-ainda-e-um-desafio-diario/#:~:text=De%20acordo%20com%20dados%20do,7%20milh%C3%B5es%20n%C3%A3o%20ouvem%20nada. Acesso em: 23 de abril de 2021.
TAMANG, Benjamin et al. Customized Deep Learning Technique for vehicle detection along with speed estimation. EasyChair, 2022.
TV BRASIL: Apenas 37% dos brasileiros com deficiência auditiva estão empregados. Instituto Locomotiva, 2019. Disponível em: <https://www.ilocomotiva.com.br/single-post/2019/10/01/tv-brasil-apenas-37-dos-brasileiros-com-defici%C3%AAncia-auditiva-est%C3%A3o-empregados>. Acesso em: 18 de maio de 2021.
