"Olha quem está falando": o uso de modelos de linguagem para apoio aos desenvolvedores durante a produção de software
DOI:
https://doi.org/10.34117/bjdv9n3-157Keywords:
inteligência artificial, processamento de linguagem natural, chatbotAbstract
Este trabalho investigou a capacidade de ferramentas baseadas em modelos de linguagem e técnicas tradicionais de recuperação de informações, como o Generative Pre-trained Transformer (GPT-3) e CROKAGE respectivamente, em gerar respostas legíveis para perguntas de programação (Q&A). Para isso, foi realizada uma análise qualitativa e quantitativa de correção sintática e semântica estática, correção semântica, foco de código e legibilidade em um conjunto de questões e respostas, bem como um experimento piloto com sujeitos humanos. Os resultados sugerem que essas ferramentas são capazes, de forma complementar, de gerar código completo e executável que pode ser útil para desenvolvedores iniciantes, mas ainda enfrentam desafios em relação à semântica e ao foco no código.
References
BROWN, T. B. et al. Language Models are Few-Shot Learners. arXiv, , 22 jul. 2020. Disponível em: <http://arxiv.org/abs/2005.14165>. Acesso em: 02 dez. 2022
DEVLIN, J. et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv, , 24 maio 2019. Disponível em: <http://arxiv.org/abs/1810.04805>. Acesso em: 02 dez. 2023
GIL, A. C. (1997) Metodologia do Ensino Superior. 3ª. Ed. São Paulo, Atlas.
JOSHI, A. et al. Likert Scale: Explored and Explained. British Journal of Applied Science & Technology, v. 7, n. 4, p. 396–403, 10 jan. 2015.
LIU, Y. et al. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv, , 26 jul. 2019. Disponível em: <http://arxiv.org/abs/1907.11692>. Acesso em: 29 jan. 2023
MOUTIDIS, I.; WILLIAMS, H. T. P. Community evolution on Stack Overflow. PLOS ONE, v. 16, n. 6, p. e0253010, 17 jun. 2021.
PETERS, M. E. et al. Deep Contextualized Word Representations. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers). Anais...New Orleans, Louisiana: Association for Computational Linguistics, jun. 2018. Disponível em: <https://aclanthology.org/N18-1202>. Acesso em: 29 jan. 2023
RADFORD, A. et al. Language Models are Unsupervised Multitask Learners. OpenAI, 2019. Disponível em: <https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf>. Acesso em: 03 dez. 2022
RADFORD, A. et al. Improving Language Understanding by Generative Pre-Training. OpenAI, 2018. Disponível em: <https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf>. Acesso em: 03 dez. 2022
REI, M. Semi-supervised Multitask Learning for Sequence Labeling. Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Anais...Vancouver, Canada: Association for Computational Linguistics, 2017. Disponível em: <http://aclweb.org/anthology/P17-1194>. Acesso em: 03 dez. 2022
SILVA, R. CROKAGE: effective solution recommendation for programming tasks by leveraging crowd knowledge. [s.l.] Universidade Federal de Uberlândia, 29 maio 2020.
STRAUSS, A; CORBIN, J. Pesquisa qualitativa: técnicas e procedimentos para o desenvolvimento de teoria fundamentada. Porto Alegre: Artmed, 2008.
YANG, Z. et al. XLNet: Generalized Autoregressive Pretraining for Language Understanding. arXiv, , 2 jan. 2020. Disponível em: <http://arxiv.org/abs/1906.08237>. Acesso em: 29 jan. 2023.
