O "Sextante de Dados" (Arquitetura de Inteligência Global

Estamos buscando um especialista ou equipe para projetar e implementar uma infraestrutura robusta de ingestão e processamento de dados capaz de lidar com volumes bilionários de informações. O objetivo é simular a capacidade de empresas como Bloomberg ou Meta em gerenciar um fluxo massivo de dados globais, desde a coleta até a análise e armazenamento. O projeto envolve a criação de uma arquitetura escalável e resiliente, utilizando tecnologias de Big Data e Machine Learning para garantir alta performance e confiabilidade. As responsabilidades incluem: Definição da arquitetura de dados para ingestão em tempo real e em lote. Implementação de pipelines de dados eficientes e tolerantes a falhas. Configuração de sistemas de armazenamento distribuído e bancos de dados NoSQL. Desenvolvimento de módulos para processamento, transformação e análise de grandes volumes de dados. Integração com ferramentas de orquestração e monitoramento. Garantia de segurança e conformidade dos dados. Buscamos profissionais com experiência comprovada em projetos de larga escala, familiaridade com ecossistemas de Big Data (Hadoop, Spark, Kafka), plataformas de nuvem (aws, gcp) e metodologias devops.