Sobre este proyecto
it-programming / web-development
Abierto
Se busca un especialista para la instalación y configuración completa de Apache Airflow en un entorno on-premise. El objetivo es establecer un ambiente productivo de alta disponibilidad que garantice la robustez y continuidad de las operaciones de orquestación de datos.
Las responsabilidades incluirán:
* Diseño e implementación de la arquitectura de alta disponibilidad para Apache Airflow.
* Configuración de los componentes de Airflow (Scheduler, Webserver, Workers) para redundancia y escalabilidad.
* Integración con una base de datos de metadatos robusta (por ejemplo, PostgreSQL o MySQL) con configuración de alta disponibilidad.
* Configuración de un sistema de colas de mensajes (por ejemplo, Celery o KubernetesExecutor) para la gestión de tareas distribuidas.
* Implementación de mecanismos de monitoreo y alerta para el estado del sistema.
* Asegurar la configuración de seguridad adecuada para el entorno productivo.
* Documentación detallada de la instalación y configuración.
Se requiere experiencia comprobada en despliegues de Airflow en entornos productivos, conocimientos sólidos de sistemas operativos Linux, bases de datos y herramientas de orquestación de contenedores como Docker y Kubernetes.
Categoría Programación y Tecnología
Subcategoría Programación Web
¿Cuál es el alcance del proyecto? Cambio mediano
Plazo de Entrega: No definido
Habilidades necesarias