Sobre este proyecto
it-programming / web-development
Abierto
Necesitamos un profesional para mejorar el procesamiento mensual de archivos CSV. Actualmente, la gestión de estos datos se realiza con un script de python a través de archivos csv, carece de capacidad de historización en una base de datos relacional. El principal objetivo es que el proceso almacene estos datos en la nube de manera mensual en una base de datos relacional.
Nosotros vamos a proporcionar los archivos CSV y el script de python como punto de partida.
El proyecto implica las siguientes tareas clave:
1. Diseño y creación de una base de datos MySQL en la nube, optimizada para el almacenamiento de datos.
2. Desarrollo e implementación de un proceso ETL (Extract, Transform, Load) eficiente para la ingesta de los archivos CSV mensuales.
3. Realización de transformaciones de datos y cruce de información proveniente de múltiples fuentes dentro de los CSV. Esto ya se hace con el script de python.
4. Implementación de un sistema de historización acumulativa para asegurar que todos los datos procesados se almacenen de manera cronológica y accesible.
5. Diseñar el flujo para que mas adelante soporte una automatizacion en la nube.
Buscamos una solución que mejore el proceso, proporcionando una base de datos centralizada y con historial completo.
Categoría Programación y Tecnología
Subcategoría Programación Web
¿Cuál es el alcance del proyecto? Bug o cambio pequeño
Plazo de Entrega: No definido
Habilidades necesarias