Desenvolvedor Python para Integração e Extração de Dados da Api Conta Azul para Data Lake

Buscamos um desenvolvedor freelancer com experiência comprovada na API do Conta Azul para desenvolver uma solução robusta em Python. O objetivo é criar um sistema capaz de identificar empresas às quais temos acesso como BPO do Conta Azul, extrair seus dados através da API do Conta Azul e armazená-los em nossa camada Bronze de Data Lake. O foco principal é a ingestão e disponibilização dos dados na camada Bronze, sem a aplicação de regras de negócio ou transformações analíticas.

Escopo do Projeto:

Integração API Conta Azul:
- Implementação de integração com api rest e autenticação oauth 2.0.
- Gerenciamento e renovação de tokens de acesso.
- Tratamento de erros, timeout e retry para garantir a resiliência da integração.
- Respeito rigoroso aos limites de requisição da API.

Clientes/Tenants:
- Desenvolvimento de lógica para identificação das empresas acessíveis.
- Criação de um identificador único por cliente.
- Estabelecimento de um relacionamento claro entre o ID do Conta Azul e nosso ID interno.
- Implementação de controle de clientes ativos e estrutura para fácil adição de novos clientes.

Extração de Dados:
- Levantamento e implementação dos endpoints da API definidos em conjunto com nossa equipe.
- Gerenciamento de paginação, filtros e controle de períodos para a extração de dados.
- Suporte para carga inicial completa e cargas incrementais, quando a API permitir.
- Controle de duplicidade e identificação de registros alterados.
- Implementação de logs detalhados, tratamento de erros e capacidade de reprocessamento.

Data Lake:
- Armazenamento dos dados extraídos na camada Bronze do Data Lake.
- Formato de armazenamento obrigatório: Parquet.
- Preservação integral dos dados de origem, sem quaisquer transformações analíticas.
- Inclusão de metadados essenciais: cliente/tenant, empresa, endpoint, data/hora da execução, período da extração, quantidade de registros e status da operação.

Controle:
A solução deve oferecer funcionalidades para acompanhar o processamento de clientes e entidades, monitorar execuções, quantificar registros processados, identificar erros e gerenciar reprocessamentos.

Tecnologia e Entrega:
Nosso ambiente de backend é baseado em Python e Docker. Esperamos uma solução bem organizada, segura e escalável, projetada para operar em um cenário multicliente e com grande volume de dados. Todo o desenvolvimento será realizado em um repositório GitHub fornecido pela nossa empresa, seguindo boas práticas de versionamento. O código desenvolvido deverá permanecer no repositório para futuras manutenções e continuidade por nossa equipe interna.