Estamos buscando um especialista em DevOps para nos auxiliar na configuração e resolução de problemas em um ambiente de desenvolvimento e processamento de dados. O projeto envolve a reinstalação e estabilização de um setup que inclui Apache Airflow, Apache Spark e Jupyter Notebook, todos orquestrados via Docker em um servidor Linux Ubuntu (VPS Digital Ocean).
O ambiente estava funcionando anteriormente, mas por razões desconhecidas, parou de operar. Possuímos os Dockerfiles e o arquivo
docker-compose.yml existentes, que serviram como base para a configuração inicial. O objetivo principal é diagnosticar a causa da falha, corrigir quaisquer problemas de configuração ou dependência e garantir que todos os serviços voltem a funcionar de forma estável e integrada.
As principais tarefas incluem:
- Análise e diagnóstico da falha atual no ambiente Dockerizado.
- Revisão e otimização dos Dockerfiles e
docker-compose.yml, se necessário.
- Reconfiguração e implantação dos serviços Airflow, Spark e Jupyter via Docker.
- Garantir a comunicação e integração adequadas entre os componentes.
- Testar a funcionalidade de cada serviço e do ambiente como um todo.
- Fornecer documentação básica sobre as correções e a configuração final, se aplicável.
É Essencial que o profissional tenha experiência comprovada com as tecnologias mencionadas e seja capaz de trabalhar de forma autônoma para resolver o problema. Conhecimento em administração de servidores Linux e na plataforma Digital Ocean será um diferencial.
Prazo de Entrega: Não estabelecido