Estamos buscando um desenvolvedor experiente em Python e Web Scraping para criar um crawler automatizado que realize a consulta de processos jurídicos a partir de uma lista de CNPJs e realize o download dos arquivos PDF correspondentes. O escopo do trabalho inclui: Navegação e Busca: O script deve acessar portais de tribunais (Ex: PJe, e-SAJ, Projudi), inserir os CNPJs e navegar pelos resultados, de forma automatizada. Extração de Dados: Mapear a lista de processos encontrados. Download Automatizado: Identificar os links de documentos anexos e baixar os PDFs de forma organizada (renomeando-os conforme o número do processo e CNPJ). Tratamento de Erros: O crawler deve ser resiliente a quedas de conexão e mudanças simples no layout. Requisitos Técnicos (Ferramentas Obrigatórias): Python como linguagem principal. Selenium ou Playwright para a automação da navegação e interação com elementos JavaScript. BeautifulSoup para o parsing eficiente do HTML das páginas. Requests para a gestão otimizada do download dos arquivos PDF. Conhecimento em bibliotecas como PyPDF2 ou pdfplumber (caso seja necessário validar o conteúdo do PDF). Diferenciais e Desafios: Experiência prévia com portais jurídicos brasileiros. Capacidade de contornar bloqueios e Captchas (integração com APIs de resolução de captcha ou uso de técnicas de stealth). Implementação de logs de execução e tratamento de exceções. Uso de boas práticas para evitar o bloqueio de IP (delays, troca de user-agents, etc). Entregáveis: Código-fonte completo e comentado. Instruções de configuração do ambiente (
requirements.txt). Breve guia de como rodar o crawler para novos CNPJs. Modelo organizado e automatizado de extração dos dados em planilha ou crm (número processo, valor do contrato, tribunal, partes, cnpj parte, cpf parte, seguro, valor do seguro, estado de origem do processo).
Prazo de Entrega: Não estabelecido