Desenvolvimento de uma aplicação para a extração de dados abertos
DOI:
https://doi.org/10.38152/bjtv9n1-007Keywords:
dados abertos, extração de dados, raspagem web, aplicação web, ChatGPTAbstract
O acesso e a disponibilidade de dados públicos no Brasil têm aumentado gradualmente nos últimos anos, impulsionados por iniciativas como a promulgação da Lei de Acesso à Informação e a criação do Portal Brasileiro de Dados Abertos. No entanto, a forma de disponibilização dessas informações fica a critério de cada instituição pública, o que dificulta o acesso uniforme e centralizado aos dados. Esse cenário evidenciou os desafios enfrentados pelo City Living Lab, que obtém dados abertos de maneira automatizada a partir de diversas plataformas públicas. Diversos projetos foram desenvolvidos para auxiliar o Laboratório no atendimento de múltiplas demandas, incluindo a extração de dados abertos. Contudo, não foi possível solucionar esse desafio de forma efetiva. Uma possível solução consiste no desenvolvimento de uma aplicação web capaz de extrair dados de múltiplas fontes de forma independente, automatizada e amigável ao usuário, permitindo que os usuários selecionem quais fontes de dados desejam utilizar.
References
BATTISTELO, R. Aplicação web para indicadores de cidades do conhecimento. 2018.
BREGALDA, V. Coleta dos indicadores da plataforma de cidades do conhecimento. 2021.
BRICONGNE, J.-C.; MEUNIER, B.; POUGET, S. Web scraping housing prices in real time: The COVID-19 crisis in the UK. Journal of Housing Economics, 2023.
CARRILLO, F. J. Knowledge-based development as a new economic culture. Journal of Open Innovation: Technology, Market, and Complexity, v. 1, n. 1, 2015. DOI: https://doi.org/10.1186/s40852-015-0017-5.
EDVINSSON, L. Aspects on the city as a knowledge tool. Journal of Knowledge Management, v. 10, n. 5, p. 6–13, 2006. DOI: https://doi.org/10.1108/13673270610691134.
ERGAZAKIS, K.; METAXIOTIS, K.; PSARRAS, J. Towards knowledge cities: Conceptual analysis and success stories. Journal of Knowledge Management, v. 8, n. 5, p. 5–15, 2004. DOI: https://doi.org/10.1108/13673270410558747.
HAMOUD, A.; HASHIM, A. S.; AWADH, W. A. Clinical data warehouse: A review. Iraqi Journal for Computers and Informatics, v. 44, n. 2, 2018.
HASSANI, H.; SILVA, E. S. The role of ChatGPT in data science: How AI-assisted conversational interfaces are revolutionizing the field. Big Data and Cognitive Computing, v. 7, n. 2, 2023. DOI: https://doi.org/10.3390/bdcc7020062.
Open Knowledge Foundation. (2024). The open definition.
MDN Web Docs. (2024a). Atributos – HTML.
MDN Web Docs. (2024b). XPath.
NEVES, O. M. C. Evolução das políticas de governo aberto no Brasil. 2013.
NOTARI, D. L. et al. Aplicação web para indicadores de cidades do conhecimento. Revista Brasileira de Gestão e Inovação, v. 7, p. 95–118, 2019. DOI: https://doi.org/10.18226/23190639.v7n2.05.
RODRIGUES, H. Virtualização de ferramentas de carga de dados da plataforma cidades do conhecimento. 2023.
Schema.org. (2024). What is a schema?
SILVA, A. d. A. P.; MONTEIRO, D. A. A.; REIS, A. d. O. Qualidade da informação dos dados governamentais abertos: Análise do portal de dados abertos brasileiro. Revista Gestão em Análise, 2018.
SILVA, A. G. d. Desenvolvimento da automatização da coleta de dados na plataforma de cidades do conhecimento. 2022.
TRUJILLO, J.; LUJÁN-MORA, S. A UML-based approach for modeling ETL processes in data warehouses. In: INTERNATIONAL CONFERENCE ON CONCEPTUAL MODELING. Proceedings […]. Berlin: Springer, 2003. p. 307–320.
YIGITCANLAR, T. Editorial: Evolving definition of knowledge cities. International Journal of Knowledge-Based Development, v. 8, n. 1, p. 1–4, 2017.
ZHANG, Q.; RICHARDS, G. C. Lessons from web scraping coroners’ prevention of future deaths reports. Medico-Legal Journal, 2023.
ZHAO, B. Web scraping. 2017. DOI: https://doi.org/10.1007/978-3-319-32001-4_483-1.
