ANÁLISE E IMPLEMENTAÇÃO DE MELHORIAS DE QUALIDADE DE DADOS NO PROCESSO DE MIGRAÇÃO DA INFORMAÇÃO DE CLIENTES

O aumento da quantidade de dados relevou a importância da qualidade nos dados. Considerando este fator a empresa FinanceQ, no âmbito do projeto de migração, reconheceu a importância de melhorar a qualidade dos dados a migrar. Nesse sentido requisitou os serviços da empresa SIGQ e definiu como objetivos de projeto analisar a qualidade de dados atual; aplicar medidas de normalização nos dados; e aplicar medidas de enriquecimento nos atributos de morada. Considerando os objetivos definidos utilizou-se o software SAS Dataflux e aplicou-se a metodologia da aplicação composta por três fases: planeamento; ação; e monitorização. Durante o processo de qualidade foram aplicadas técnicas de data profiling para analisar os dados e a taxonomia de Oliveira et al.(2005) para identificar o tipo de anomalia nos dados. Quanto a melhoria de qualidade de dados seguiu-se a estratégia reativa onde foram aplicadas técnicas de normalização e enriquecimento para solucionar os problemas identificados: valores sem significado; valores a null; padrões inadequados para o atributo; erros ortográficos; existência de sinónimos; e valores fora do domínio dos atributos. Na fase final do projeto foi possível identificar que as técnicas aplicadas permitiram designar corretamente os géneros, reorganizar os números de telefone e validar os padrões de valores; as ações de limpeza e correção dos dados eliminaram os valores sem significado e corrigiram os erros ortográficos; O processo de enriquecimento normalizou os dados e enriqueceu os atributos de código postal em 80% dos registos. Na generalidade as técnicas aplicadas impactaram as características dos dados exatidão, objetividade, completude e consistência.