Sobre este proyecto
it-programming / data-science-1
Abierto
Estamos buscando um Engenheiro de Dados Pleno para um projeto de 3 meses focado na concepção, desenvolvimento e entrega de plataformas digitais e painéis interativos. O objetivo é apoiar a tomada de decisão da empresa através de uma infraestrutura de dados robusta e acessível. Este projeto é ideal para um profissional organizado, disciplinado e com vontade de evoluir, que possua boa capacidade de seguir padrões e processos.
As principais entregas deste projeto incluirão:
- Base de Dados Estruturada de Indicadores
- Boletins Conjunturais Mensais (em formato digital, com layout padronizado)
- Boletins Setoriais Trimestrais
- Painel Interativo de Inteligência Econômica (incluindo especificação e wireframe)
O profissional será responsável por:
- Implementar e manter pipelines de dados, seguindo a arquitetura definida.
- Desenvolver e manter pipelines de ingestão e transformação de dados.
- Criar DAGs (Directed Acyclic Graphs) utilizando Apache Airflow para orquestração de fluxos de trabalho.
- Configurar e operar conectores no Airbyte para integração de dados.
- Trabalhar com DuckDB para processamento analítico de dados.
- Apoiar na criação e otimização de consultas e modelos no ClickHouse.
- Monitorar falhas e performance dos pipelines de dados, garantindo a estabilidade e eficiência do sistema.
Requisitos essenciais:
- Experiência prática comprovada em engenharia de dados.
- Conhecimento aprofundado em Apache Airflow e SQL.
- Experiência ou contato prévio com Airbyte, DuckDB e ClickHouse.
- Noções de Docker para conteinerização e orquestração de aplicações.
Este é um projeto desafiador que oferece a oportunidade de trabalhar com tecnologias de ponta em um ambiente dinâmico.
Categoría Programación y Tecnología
Subcategoría Data Science
Tamaño del proyecto Grande
Plazo de Entrega: No definido
Habilidades necesarias