Desenvolvimento de Web Crawler para Monitoramento e Download de Documentos de Licitações

Estamos buscando um desenvolvedor experiente para criar um web crawler robusto e eficiente. O objetivo principal é automatizar o processo de download de documentos de sites de licitações públicas e, crucialmente, monitorar esses sites para identificar e notificar sobre quaisquer mudanças nos documentos ou nas páginas relacionadas. O sistema deve ser capaz de navegar por diferentes estruturas de sites de licitações, extrair links para documentos (PDFs, DOCX, etc.) E baixá-los de forma organizada. Além disso, é essencial que o crawler implemente um mecanismo de detecção de alterações para alertar sobre atualizações, exclusões ou adições de novos documentos. A solução deve ser confiável, escalável e capaz de lidar com um volume considerável de dados e sites. Detalhes técnicos sobre a implementação (linguagem, frameworks) podem ser discutidos, mas a prioridade é a funcionalidade e a estabilidade do sistema.