Desenvolvimento de Web Scraper Avançado para Monitoramento Diário de Leilões Online

Busco um desenvolvedor experiente para criar uma aplicação robusta de web scraping. O objetivo principal é varrer diariamente aproximadamente 500 sites de leiloeiros para extrair informações cruciais como preços e ofertas. Esta ferramenta permitirá o acompanhamento de variações de valor e condições em tempo quase real, consolidando os dados em um formato que possa ser facilmente utilizado para análises posteriores.

O cliente fornecerá uma planilha base contendo a lista completa dos domínios a serem monitorados, bem como os campos específicos a serem capturados em cada página, incluindo descrição do item, data e hora do leilão, nome do vendedor, entre outros.

As entregas esperadas incluem:
1. Um crawler/web-scraper totalmente funcional, capaz de navegar por todos os endereços fornecidos e coletar as informações especificadas.
2. Funcionalidade de atualização diária automática, com a flexibilidade para ajustes futuros em outros intervalos de tempo.
3. A saída dos dados em formato csv ou json, organizada de forma precisa conforme a planilha de referência.
4. O código-fonte deve ser bem comentado e documentado, pronto para ser executado em um ambiente Linux.
5. Um relatório conciso explicando a arquitetura da solução, as bibliotecas utilizadas e instruções detalhadas para implantação.

É Fundamental que a solução garanta estabilidade e seja capaz de lidar com desafios como CAPTCHAs e paginações complexas. A facilidade de manutenção do código é um requisito importante. O uso de tecnologias como Python, Scrapy, Selenium, Playwright ou técnicas de Inteligência Artificial para otimizar a identificação de padrões e contornar bloqueios é bem-vindo. O cliente está disponível para esclarecer dúvidas e testar entregas parciais ao longo do desenvolvimento.