Sobre este projeto
it-programming / data-science-1
Aberto
Estamos desenvolvendo um produto interno de análise orçamentária, voltado ao controle e comparação de dados. Este produto precisa consolidar informações oriundas de duas fontes distintas de dados:
Uma base analítica construída por um terceiro, com estrutura em tabelas fato (fat) e tabelas dimensão (dim), além de algumas views.
O Desafio
Nosso desafio atual é integrar essas duas bases — de estruturas e origens distintas — em um ambiente comum que permita consultas cruzadas e padronizadas. Após avaliação técnica, consideramos o uso do Amazon Redshift como o caminho mais adequado para consolidar essas fontes em uma camada única e performática de consulta.
O que buscamos
Nosso time não possui experiência prática com Redshift, por isso buscamos um(a) profissional que possa:
Orientar ou implementar a estrutura de ingestão de dados no Redshift, a partir das duas fontes (base externa com fat/dim/views + dados internos em s3/athena/glue), apoiando também na escolha da melhor modelo de contratação da ferramenta (auxiliando em previsão de orçamento para esse fim);
criar ou nos apoiar na criação das tabelas e estruturas intermediárias, visando consumo analítico via bi e/ou aplicação web;
indicar melhores práticas de acesso ao redshift (inclusive via php, caso necessário para o consumo);
apoiar com documentação mínima que permita manutenção futura da estrutura por nosso time.
Desejável conhecimento sobre ingestão via COPY a partir do S3, uso de Glue Jobs como ETL, e boas práticas de modelagem analítica no Redshift.
Avaliaremos junto ao prestador se o ambiente poderá ser autogerenciável por nossa equipe após a entrega, ou se será necessário contratá-lo futuramente para manutenções pontuais.
É Importante que o profissional consiga adaptar sua comunicação a um time técnico com bom domínio de AWS e estrutura de dados em geral, mas sem experiência específica em Redshift.
Categoria TI e Programação
Subcategoria Data Science
Tamanho do projeto Grande
Prazo de Entrega: Não estabelecido
Habilidades necessárias