Projeto de Web Scraping com Ia para Sites de Leilão

Objetivo: Desenvolver um sistema de web scraping integrado com Inteligência Artificial para extrair informações de imóveis em leilão de uma lista de sites fornecida via API. O sistema aplicará filtros especificados pela api e enviará as informações extraídas para outra api para armazenamento.

Funcionalidades:
1. Integração com API de Fontes de Dados: Receber lista de sites de leilão e filtros de busca.
2. Web Scraping Dinâmico com IA: Navegar e extrair informações adaptando-se a diferentes estruturas de sites.
3. Extração de Dados Específicos: Incluir título, descrição, status do leilão, tipo de objeto, tipo de leilão, códigos, número de visitas, habilitados, lances, lance atual, localização, valores de avaliação e praças, datas das praças, links de editais e documentos, fotos, informações do processo, fórum, leiloeiro, réu, autor, parcelamento e propostas.
4. Processamento e Validação de Dados: Verificar e limpar dados, converter formatos.
5. Envio de Dados para Armazenamento API: Transmitir dados processados para armazenamento, garantindo segurança e integridade.
6. Envio de Dados de Processamento para API: Enviar informações sobre o status de processamento para uma API, permitindo acompanhamento em tempo real.
7. Processamento Multithread: A aplicação deverá permitir processamento multithread para maximizar o uso do processamento do servidor.
8. Compatibilidade com CentOS 7.5 ou Superior: A aplicação deverá ser compatível com o sistema operacional CentOS 7.5 ou superior.
9. Uso de Proxy: Capacidade de utilizar proxies para navegar entre os sites, melhorando a privacidade e contornando possíveis restrições de acesso.
10. Segurança de Dados: Protocolos HTTPS e uso de proxies.

Desafios e Considerações:
- Adaptação a Diversas Estruturas de Sites.
- Eficiência e Escalabilidade do Processamento Multithread.
- Legalidade e conformidade com leis de direitos autorais e privacidade de dados.
- Manutenção e atualização do sistema.

Resultado Esperado: Um sistema eficiente, escalável e adaptável para extração automática de informações de imóveis em leilão, capaz de processar dados de diferentes fontes para análises estratégicas, com monitoramento contínuo do processamento e compatibilidade com infraestrutura de servidor CentOS.