Sobre este projeto
it-programming / data-science-1
Aberto
Olá, procuro um Engenheiro de Dados com experiência sólida e comprovada em Snowflake para atuar em um projeto de modernização de arquitetura (Data Lakehouse).
O objetivo principal é realizar a ingestão de dados de um banco MySQL (transacional) para o Snowflake e, na sequência, implementar camadas de inteligência utilizando o Snowflake Cortex para processamento de linguagem natural e análise preditiva.
Escopo do Trabalho:
Ingestão de Dados: Configurar o pipeline de extração do MySQL para o Snowflake (via Python, Stages ou ferramentas de etl/elt).
Arquitetura: Estruturar as camadas de dados dentro do Snowflake (Raw/Bronze, Trusted/Silver, Refined/Gold).
Implementação Cortex: Criar funções utilizando Snowflake Cortex (LLM Functions) para análise de sentimentos, tradução ou extração de entidades em dados não estruturados de frete e logística.
Otimização: Garantir a performance de queries e gestão eficiente de custos dos Warehouses.
Requisitos Obrigatórios:
Experiência comprovada com Snowflake (envio de portfólio ou descrição de projetos anteriores é essencial).
Domínio de SQL avançado e Python para engenharia de dados.
Conhecimento prático em Snowflake Cortex (uso de funções de IA integradas).
Experiência com conectores MySQL e pipelines de carga (Copy Into, Snowpipe ou similares).
Diferenciais:
Certificação Snowflake (SnowPro Core).
Conhecimento em logística ou setor de transportes (fretes).
Experiência com AWS (S3 como área de staging).
Sobre o Projeto:
Este é o primeiro de uma série de 100 ativos que pretendo desenvolver. Busco um parceiro de longo prazo que tenha visão de negócio e preze por uma arquitetura escalável e limpa.
Categoria TI e Programação
Subcategoria Data Science
Tamanho do projeto Pequeño
Prazo de Entrega: Não estabelecido
Habilidades necessárias