Sobre este projeto
it-programming / data-science-1
Aberto
Estamos buscando um especialista em automação de dados para desenvolver um sistema robusto de leitura e consolidação de informações provenientes de diversas fontes. O projeto envolve a extração, transformação e carregamento (ETL) de dados, garantindo a padronização e consistência para análises futuras. O profissional será responsável por:
Extrair dados de documentos PDF, Excel, csv, api, utilizando bibliotecas python como pypdf2, tabula ou camelot.
Desenvolver scripts em Python para manipulação e limpeza de dados, utilizando bibliotecas como pandas para tratamento de dados e openpyxl para integração com planilhas Excel.
Implementar integração com bancos de dados sql (sql server, postgresql, sqlite) utilizando sqlalchemy para orm e gerenciamento de conexões.
Comunicar-se com APIs externas para integração de dados, incluindo a implementação de autenticação via token ou usuário/senha, utilizando bibliotecas como json e requests.
Padronizar e limpar dados, incluindo renomeação de colunas, remoção de duplicidades e tratamento de tipos de dados para garantir a consistência.
Criar e gerenciar bancos de dados locais ou em nuvem para armazenar e manter um histórico dos dados processados.
Gerar relatórios e dashboards automatizados, preferencialmente em Power BI, Excel ou Streamlit.
Requisitos Técnicos:
Conhecimento intermediário em Python, com foco em automação e manipulação de dados.
Conhecimento intermediário em SQL (consultas, inserções, atualizações e modelagem básica).
Experiência comprovada com ETL (Extract, Transform, Load).
Experiência com integração de APIs e manipulação de dados em formato JSON.
Excelente organização e atenção a detalhes na padronização e consistência de dados.
Diferenciais:
Experiência com Power BI, Power Automate ou Google Apps Script.
Noções de modelagem de dados e documentação de processos.
Interesse em estruturar fluxos de automação para bases financeiras.
Categoria TI e Programação
Subcategoria Data Science
Tamanho do projeto Pequeño
Prazo de Entrega: Não estabelecido
Habilidades necessárias