Desenvolvimento de Solução de Web Scraping Avançada com Autenticação e Download de Pdfs

Estamos buscando um desenvolvedor experiente para criar uma solução robusta de web scraping. O projeto envolve a autenticação em um site alvo, o download automatizado de arquivos PDF e a capacidade de suportar um volume diário de aproximadamente 3.000 downloads. Será necessário desenvolver uma interface web simples para gerenciar a entrada de dados para o scraping.

Responsabilidades Principais:
- Implementar o fluxo completo de login e autenticação/autorização no site alvo para acesso aos dados.
- Desenvolver a funcionalidade para download eficiente de arquivos PDF após a autenticação.
- Garantir que a solução seja capaz de lidar com um volume diário de cerca de 3.000 downloads de forma estável e confiável.
- Criar uma interface web intuitiva para a entrada dos parâmetros e o controle do processo de scraping.

Requisitos Essenciais:
- Experiência comprovada em Web Scraping, incluindo a manipulação de sessões e fluxos de autenticação complexos.
- Conhecimento sólido e experiência prática com Docker para conteinerização e implantação da solução.
- Proficiência em tecnologias web como html, css, javascript e consumo/criação de apis rest.
- Experiência com bibliotecas de scraping modernas, como Puppeteer, Playwright ou Selenium.

Desejável:
- Experiência com serviços AWS (Amazon Web Services), como EC2, Lambda e S3, para escalabilidade e armazenamento.
- Conhecimento em sistemas de filas, como RabbitMQ, para orquestração e gerenciamento de tarefas assíncronas.
- Familiaridade com boas práticas de desenvolvimento, incluindo logging detalhado, controle de erros robusto e design para escalabilidade.