Sobre este projeto
it-programming / data-science-1
Aberto
Desarrollo de ETL (Extract, Transform, Load) para tres fuentes de datos y varios reportes en Power BI en la nube. La misma tendrá la capacidad para actualizar la data automáticamente a través de un ETL (Extract, Transform, Load) utilizando herramientas de ETL como Python Pandas, Apache Airflow para extracción, transformación y carga de la data de tres fuentes para luego guardarlas en un Datawarehouse de MySQL en AWS Ec2 utilizando aws rdb. Las tablas serán guardadas con schema de dato. Luego se crearán los queries con Views (Tablas virtuales) las cuales tendrán los cubos de los reportes con la información que irá a PowerBI. Posteriormente se deben crear los reportes de visualización utilizando MS Power BI. Los reportes deben de contar con una estructura de usuarios y permisos según los clientes
- Proceso de Extracción automática desde tres de orígenes de datos para tres reportes utilizando Python Pandas y Apache Airflow.
- Las extracciones se harán automáticamente la cantidad de veces requeridas durante el día.
- Consolidación de la data en MySQL Datewarehouse en la nube de AWS.
- Transformación y limpieza de la data utilizando Python Pandas.
- Creación de data schema para las diferentes tablas en el Datawarehouse de MySQL. -Creación de Views (Tablas virtuales) en MySQL con los diferentes cubos para los reportes - Automatización de todo el proceso utilizando Apache Airflow (ETL).
- Diseño, creación y automatización de actualización de Dashboards en Power BI.
Categoria TI e Programação
Subcategoria Data Science
Tamanho do projeto Grande
Isso é um projeto ou uma posição de trabalho? Um projeto
Disponibilidade requerida Conforme necessário
Prazo de Entrega: Não estabelecido
Habilidades necessárias