Automação de Fluxos Etl com Pyspark, Databricks e Aws para Dados de Finanças Públicas

O projeto consiste na automação de fluxos de dados ETL (Extract, Transform, Load) utilizando PySpark e Databricks, com infraestrutura na Amazon Web Services (AWS). O objetivo principal é processar e gerenciar dados de finanças públicas de forma eficiente e escalável. O profissional será responsável por projetar, implementar e otimizar pipelines ETL robustos, incluindo a extração de dados de diversas fontes, transformação de acordo com regras de negócio específicas e carregamento em data warehouses ou plataformas analíticas de destino. É Essencial ter experiência com grandes volumes de dados e um profundo conhecimento das melhores práticas de engenharia de dados para garantir a integridade e a performance dos processos.