Big data framework implemented in Cloud Azure

A explosão tecnológica que ocorreu nas últimas décadas conduziu a uma disponibilidade de dados muito maior, dos quais as empresas podem tirar partido para tomar melhores decisões de negócio. Existem várias ferramentas e técnicas disponíveis para trabalhar com grandes quantidades de dados, mas este relatório foca-se no estudo de uma ferramenta específica: Microsoft Azure. Logo, foi implementada uma estrutura para o processamento de grande volume de dados, com o objetivo de explorar as ferramentas de um dos serviços de cloud mais populares: Azure, e desenvolver uma arquitetura eficaz, mantendo a relação custo-eficácia e as restrições do projeto. O ecossistema de Microsoft Azure é extenso e complexo, por isso foram explorados apenas os conceitos e aplicações mais relevantes, nomeadamente Databricks, Synapse Analytics, Data Factory, WebJobs e Storage. Durante este processo foi adquirida uma maior compreensão dos elementos do Microsoft Azure, tanto pelas suas aplicações como pelos seus limites. Após a fase de exploração, foi implementada a arquitetura definida, que incluía o ciclo de vida completo do processamento de grandes volumes de dados e, após o projeto entrar em produção, foram encontradas várias melhorias possíveis que podem ser implementadas ou investigadas mais aprofundadamente no futuro.