Estruturação e Implementação de Data Lake Escalável para Centralização de Dados Empresariais

Buscamos um profissional experiente para estruturar um Data Lake funcional e escalável para nossa empresa. Atualmente, os dados estão fragmentados entre diferentes sistemas e processos manuais, o que gera dependência operacional, atrasos na geração de relatórios e alto risco de concentração de conhecimento. O objetivo principal é construir uma infraestrutura de dados simples, eficiente e bem documentada que centralize essas informações, permitindo a tomada de decisões baseada em dados reais e reduzindo a dependência operacional de pessoas específicas.

Contexto Atual e Fontes de Dados:

1. ERP Mega – Senior Sistemas: Sistema central da operação, contendo dados financeiros, contratos, carteira de clientes, contas a receber, operações e gestão financeira. Os métodos de acesso esperados incluem sql direto no banco, odbc e api rest (se disponível). O método final será validado com a equipe de TI interna.

2. Sistema Comercial e CRM de Vendas: Dados de vendas e relacionamento com clientes. A ingestão será feita via exportação manual (.xls / .xlsx), automação leve ou possível RPA simples.

3. Planilhas Excel (Google Drive / OneDrive): Utilizadas para consolidado financeiro, fluxo de caixa, flash de vendas, carteira de empreendimentos e saldo bancário. É Necessária a padronização, limpeza e ingestão automatizada sempre que possível.

4. Relatórios Extraídos Manualmente do Mega: Atualmente, dezenas de relatórios são exportados manualmente por uma única pessoa da TI. Precisamos reduzir essa dependência através de automação e padronização.

Objetivos Específicos:

*  Construir um Data Lake leve, funcional e consultável.
*  Permitir a extração automatizada dos dados do Mega ERP.
*  Garantir a ingestão eficiente de planilhas recorrentes.
*  Centralizar todas as informações em um único repositório.
*  Fornecer uma base de dados confiável para dashboards gerenciais.
*  Reduzir a dependência operacional de indivíduos específicos.

Integração e Entregas:

*  Conexão com ferramentas de Business Intelligence como Power BI ou Looker Studio, com uma camada semântica mínima para consumo gerencial.
*  Entrega de 3 dashboards básicos como prova de conceito: Financeiro consolidado, Vendas por empreendimento e Carteira de clientes.