Sobre este projeto
it-programming / web-development
Aberto
Estamos buscando un DevOps Engineer con experiencia sólida en AWS y plataformas de datos para liderar la modernización de una arquitectura de datos orientada a escalabilidad, observabilidad y automatización. Este proyecto de 4 a 6 meses, con posibilidad de extensión, se centrará en el diseño, implementación y operación de una plataforma de datos robusta.
El proyecto consiste en:
- Diseñar, implementar y operar una plataforma de datos basada en Amazon EKS.
- Desarrollar pipelines de ingesta y transformación de datos.
- Implementar un Data Lake sobre S3 con Iceberg.
- Gestionar la infraestructura como código (IaC).
Responsabilidades clave:
- Desplegar y administrar Apache Airflow en Amazon EKS (usando Helm o Airflow Operators).
- Configurar y mantener pipelines de ingesta de datos con aws dms y airbyte.
- Implementar procesos de transformación con dbt, ejecutados en pods aislados (Kubernetes Pod Operators o KPO).
- Diseñar e implementar un Data Lake en S3 con arquitectura en capas.
- Gestionar la infraestructura con Terraform y automatizar despliegues mediante GitHub Actions (ci/cd).
- Configurar observabilidad completa del clúster EKS con Prometheus, Loki y Grafana.
Tecnologías clave:
- aws: eks, s3, athena, redshift, rds, lambda, secrets manager
- orquestación: airflow (preferentemente en eks)
- transformación: dbt cloud o core
- ingesta: aws dms, airbyte (open source o cloud)
- iac & ci/cd: terraform, github actions
- observabilidad: prometheus, grafana, loki
- escalabilidad: karpenter
requisitos:
- mínimo 3 años de experiencia en roles devops / platform engineering en aws.
- Experiencia comprobada en implementación y operación de plataformas de datos (data pipelines, ETL, data lakes).
- Dominio de Kubernetes (EKS) y gestión de workloads en entornos productivos.
- Manejo de ci/cd con github actions o herramientas similares.
- Mentalidad de automatización, buenas prácticas de seguridad y observabilidad.
- Capacidad de trabajo autónomo, comunicación clara y proactividad.
Categoria TI e Programação
Subcategoria Programação
Qual é o alcance do projeto? Criar um novo site personalizado
Duração do projeto Não estabelecido
Habilidades necessárias