Sobre este projeto
it-programming / others-5
Aberto
Estou buscando um profissional para planejar e executar a construção de uma arquitetura de dados completa em uma VPS Linux, com foco na ingestão de dados de sistemas diversos via API e banco de dados.
🎯 Objetivo do Projeto
Criar um Data Lake moderno para centralizar os dados de vendas, produtos e clientes de uma fábrica de calçados infantis, integrando informações de múltiplos sistemas e preparando o ambiente para análises futuras.
🧱 Escopo do Projeto
O profissional será responsável por:
🔹 Infraestrutura (Docker na VPS Linux)
Subir contêiner com:
PostgreSQL (banco de dados)
Apache hop (etl)
dbt (tratamento e modelagem)
jenkins (orquestração)
garantir conectividade entre os serviços
se houver outra arquitetura a ser proposta, podemos conversar - desde que seja 90% opensource.
🔹 Desenvolvimento de Pipelines (ETL)
Criar jobs no Apache HOP para extrair dados de:
VTEX (API REST)
E-Millennium (API REST)
Prestashop (API REST ou acesso ao banco)
JRTi (acesso direto ao banco via JDBC)
Armazenar os dados crus em tabelas BRONZE no PostgreSQL
🔹 Orquestração
Configurar pipelines no Jenkins para:
Rodar os jobs do Apache HOP periodicamente
Acionar os fluxos do dbt após a carga (silver/gold)
🧩 Requisitos Técnicos Desejados
Experiência comprovada com Apache HOP e integração de APIs REST
Domínio de PostgreSQL (modelagem e manipulação de dados)
Conhecimento em Docker e configuração de ambientes em Linux VPS
Familiaridade com dbt e Jenkins é um diferencial importante
Organização, documentação e boa comunicação
⚙️ O que será fornecido
Acesso à VPS Linux (Hostinger)
Documentação com endpoints das APIs e credenciais
Categoria TI e Programação
Subcategoria Outros
Tamanho do projeto Grande
Prazo de Entrega: Não estabelecido
Habilidades necessárias