Contributos de Projetos de Data Engineering na Indústria de Serviços Financeiros

Os projetos de engenharia de dados envolvem a execução de distintas etapas e tarefas cruciais e críticas para a sua realização. Neste contexto, são abordados a complexidade e os desafios associados a projetos de engenharia de dados. No âmbito da experiência adquirida numa consultora de tecnologia na área de engenharia de dados foram desenvolvidos e executados projetos na área dos serviços financeiros. A integração em projetos de raiz associado aos conhecimentos adquiridos no Mestrado permitiu partilhar a experiência resultante desta dimensão. O objetivo principal do presente trabalho é contribuir para o vasto campo de engenharia de dados, fornecendo uma análise detalhada das principais componentes envolvidas num projeto transacional de grande dimensão no sector bancário. Uma das componentes relevantes é o processo de agregação de dados que implica a extração e transformação de dados de sistemas de origem para serem armazenados num repositório central. Para realizar estas tarefas de forma eficaz é necessário identificar quais os dados gerados pelos sistemas de origem, assim como planear e executar a sua agregação no sistema de destino. Tal implica a definição e escolha das tecnologias e ferramentas adequadas. Finalmente, é importante destacar que estes projetos enfrentam desafios significativos devido ao grande volume de dados gerados pelas transações financeiras. A formação de uma equipa multidisciplinar com diversas valências técnicas é fundamental para superar as dificuldades encontradas. Consequentemente, os dados operacionais provenientes de múltiplos sistemas legados precisam de ser tratados com a máxima granularidade possível. O objetivo principal é simplificar a utilização destes dados e garantir a sua adequabilidade para a elaboração e construção de relatórios, assegurando a conformidade com as regulamentações exigidas às instituições bancárias.