Buscamos um(a) desenvolvedor(a) experiente para refatorar todos os nossos scripts de raspagem (Python e
Node.js) e aplicar uma nova estrutura de dados padronizada, garantindo maior robustez, manutenção simplificada e melhor performance.
Responsabilidades:
Analisar a base atual de scrapers (9 projetos\scripts em Python e alguns em
Node.js).
Refatorar os códigos para torná-los modulares, reutilizáveis e alinhados às melhores práticas.
Implementar a nova estrutura de dados (JSON) empregada em toda coleta, armazenamento e envio de informações.
Integrar a nova estrutura às soluções existentes de Redis e Docker (docker-compose).
Criar processos de teste simples e validação automatizados para garantir confiabilidade.
Colaborar com demais equipes para garantir que a refatoração atenda aos requisitos de negócio.
Requisitos:
Sólida experiência em Python, incluindo bibliotecas de scraping (Playwright, Selenium ou similares).
Conhecimentos em
Node.js para revisar e refatorar os scripts em JavaScript.
Experiência com containers Docker e orquestração via docker-compose.
Familiaridade com Redis e demais bancos/armazenamento utilizados em ambientes de coleta de dados.
Boa organização.
Capacidade de trabalhar de forma colaborativa, sugerindo melhorias e validando arquitetura de dados.
Diferenciais:
Vivência em ambientes de raspagem de dados em larga escala.
Conhecimentos de boas práticas de versionamento (Git) e integração contínua.
Experiência em otimização de performance de web scraping e manejo de múltiplos serviços de forma paralela.
Duração do projeto Não estabelecido