Estamos buscando um desenvolvedor experiente para criar um robô de web scraping robusto e eficiente. O objetivo principal é extrair informações completas de touros e vacas de 7 sites públicos de genética bovina, incluindo plataformas como , entre outros.
O robô deverá ser capaz de coletar os seguintes dados para cada animal:
- Dados técnicos detalhados (nome, código, raça, DEPs, índices, etc.)
- A foto principal do animal
- O arquivo PDF da ficha técnica, caso esteja disponível no site
Requisitos técnicos:
- A ferramenta sugerida para o desenvolvimento é Playwright (Python) ou Puppeteer (
Node.js), mas outras tecnologias equivalentes podem ser propostas.
- O robô deve ser capaz de raspar dados tanto de páginas dinâmicas quanto estáticas.
- Implementação de navegação automática, incluindo paginação, aplicação de filtros e outras interações necessárias para acessar todos os dados.
- Funcionalidade para download e salvamento de imagens e arquivos PDF localmente.
- Exportação dos dados coletados para um formato estruturado (csv ou json).
Entregas esperadas:
- Um arquivo CSV consolidado contendo todos os dados extraídos de touros e vacas.
- Uma pasta organizada com todas as imagens e PDFs salvos localmente.
- O script completo do robô, acompanhado de um arquivo README detalhado explicando como configurá-lo e executá-lo.
Prazo de Entrega: Não estabelecido