Desenvolvimento de Web Crawler para Automação Jurídica (Consulta de Cnpjs e Download de Pdfs)

Estamos buscando um desenvolvedor experiente em Python e Web Scraping para criar um crawler automatizado que realize a consulta de processos jurídicos a partir de uma lista de CNPJs e realize o download dos arquivos PDF correspondentes. O escopo do trabalho inclui: Navegação e Busca: O script deve acessar portais de tribunais (Ex: PJe, e-SAJ, Projudi), inserir os CNPJs e navegar pelos resultados, de forma automatizada. Extração de Dados: Mapear a lista de processos encontrados. Download Automatizado: Identificar os links de documentos anexos e baixar os PDFs de forma organizada (renomeando-os conforme o número do processo e CNPJ). Tratamento de Erros: O crawler deve ser resiliente a quedas de conexão e mudanças simples no layout. Requisitos Técnicos (Ferramentas Obrigatórias): Python como linguagem principal. Selenium ou Playwright para a automação da navegação e interação com elementos JavaScript. BeautifulSoup para o parsing eficiente do HTML das páginas. Requests para a gestão otimizada do download dos arquivos PDF. Conhecimento em bibliotecas como PyPDF2 ou pdfplumber (caso seja necessário validar o conteúdo do PDF). Diferenciais e Desafios: Experiência prévia com portais jurídicos brasileiros. Capacidade de contornar bloqueios e Captchas (integração com APIs de resolução de captcha ou uso de técnicas de stealth). Implementação de logs de execução e tratamento de exceções. Uso de boas práticas para evitar o bloqueio de IP (delays, troca de user-agents, etc). Entregáveis: Código-fonte completo e comentado. Instruções de configuração do ambiente (requirements.txt). Breve guia de como rodar o crawler para novos CNPJs. Modelo organizado e automatizado de extração dos dados em planilha ou crm (número processo, valor do contrato, tribunal, partes, cnpj parte, cpf parte, seguro, valor do seguro, estado de origem do processo).