Analisando propostas

Construção de Infraestrutura de Dados e Integração de Apis com Apache Hop + Postgresql

Publicado em 19 de Junho de 2025 dias na TI e Programação

Sobre este projeto

Aberto

Estou buscando um profissional para planejar e executar a construção de uma arquitetura de dados completa em uma VPS Linux, com foco na ingestão de dados de sistemas diversos via API e banco de dados.

🎯 Objetivo do Projeto
Criar um Data Lake moderno para centralizar os dados de vendas, produtos e clientes de uma fábrica de calçados infantis, integrando informações de múltiplos sistemas e preparando o ambiente para análises futuras.

🧱 Escopo do Projeto
O profissional será responsável por:

🔹 Infraestrutura (Docker na VPS Linux)
Subir contêiner com:

PostgreSQL (banco de dados)

Apache hop (etl)

dbt (tratamento e modelagem)

jenkins (orquestração)

garantir conectividade entre os serviços

se houver outra arquitetura a ser proposta, podemos conversar - desde que seja 90% opensource.

🔹 Desenvolvimento de Pipelines (ETL)
Criar jobs no Apache HOP para extrair dados de:

VTEX (API REST)

E-Millennium (API REST)

Prestashop (API REST ou acesso ao banco)

JRTi (acesso direto ao banco via JDBC)

Armazenar os dados crus em tabelas BRONZE no PostgreSQL

🔹 Orquestração
Configurar pipelines no Jenkins para:

Rodar os jobs do Apache HOP periodicamente

Acionar os fluxos do dbt após a carga (silver/gold)

🧩 Requisitos Técnicos Desejados
Experiência comprovada com Apache HOP e integração de APIs REST

Domínio de PostgreSQL (modelagem e manipulação de dados)

Conhecimento em Docker e configuração de ambientes em Linux VPS

Familiaridade com dbt e Jenkins é um diferencial importante

Organização, documentação e boa comunicação

⚙️ O que será fornecido
Acesso à VPS Linux (Hostinger)

Documentação com endpoints das APIs e credenciais

Categoria TI e Programação
Subcategoria Outros
Tamanho do projeto Grande

Prazo de Entrega: Não estabelecido

Habilidades necessárias