Realizado

Desenvolvimento de Sistema de Web Scraping com Ia e Docker para Análise de Leilões

Publicado em 24 de Dezembro de 2025 dias na TI e Programação

Sobre este projeto

Aberto

Busca-se um desenvolvedor para criar uma plataforma robusta de web scraping, análise de dados e apoio à tomada de decisão, preferencialmente desenvolvida em Python, com implantação obrigatória via Docker (Docker Desktop). O sistema será voltado à coleta automatizada, organização, análise e interpretação inteligente de dados de leilões online, com foco principal em numismática, integrando Inteligência Artificial para avaliação de valor de mercado e cálculo automático de viabilidade financeira.

O objetivo do projeto é entregar uma ferramenta profissional, confiável e escalável, capaz de reduzir drasticamente o trabalho manual de pesquisa, análise comparativa e cálculo de risco, permitindo ao usuário identificar com clareza oportunidades reais de investimento em leilões, baseadas em dados, regras de negócio e estimativas de mercado.

Fontes de Dados e Estratégia de Web Scraping

O sistema deverá realizar scraping estruturado e resiliente nas seguintes fontes:
    •    https://leiloesbr.com.br/catalogo.asp
    •    https://shre.ink/qUGC

Essas páginas concentram tanto a lista de leilões ativos quanto os itens individuais disponíveis, já filtrados por categorias de interesse.

O scraping deverá:
    •    Suportar paginação completa
    •    Considerar delays e carregamento assíncrono das páginas
    •    Evitar bloqueios simples e falhas por excesso de requisições
    •    Prevenir duplicidade de leilões e itens em execuções sucessivas
    •    Ser extensível para inclusão futura de novos links e categorias

Coleta e Normalização de Dados

Dados dos Leilões
    •    Nome do leilão
    •    Data e hora de realização
    •    Link direto

Dados dos Itens
    •    Fotos (URLs ou download local configurável)
    •    Título
    •    Descrição completa
    •    Valor inicial
    •    Valor do lance atual
    •    Valor do próximo lance

Todos os dados deverão ser normalizados, persistidos e versionados, permitindo atualização de lances sem perda de histórico e facilitando comparações entre execuções.

ÁRea de Configurações Avançadas

O sistema deverá conter uma área dedicada e intuitiva para configurações, permitindo ao usuário:
    •    Adicionar, editar ou remover links de scraping
    •    Definir a margem mínima de lucro (%) desejada
    •    Configurar tokens de integração com:
    •    ChatGPT (análise e estimativa de valor de mercado)
    •    Gemini (fonte complementar)
    •    Numista (base numismática para validação e enriquecimento de dados)
    •    Ajustar parâmetros de execução (ex.: Atualização, limpeza, nova varredura)

As configurações devem ser persistentes, seguras e facilmente editáveis sem necessidade de alterar código.

Processamento Inteligente e Regras de Negócio

Após a coleta, os dados dos itens deverão ser enviados a uma ou mais IAs configuradas, que serão responsáveis por:
    •    Pesquisar valores médios e máximos de venda praticados no mercado
    •    Considerar aspectos como raridade, época, país, material, contexto histórico e demanda
    •    Retornar uma estimativa confiável de valor de revenda

Com base nessas informações, o sistema deverá aplicar automaticamente as regras de negócio:
    •    Aplicação da margem mínima de lucro configurada
    •    Aplicação de uma taxa fixa de 5% do leiloeiro
    •    Cálculo de:
    •    Percentual de lucro atual
    •    Valor máximo de lance permitido para manter a viabilidade
    •    Classificação automática dos itens em:
    •    Itens Viáveis
    •    Itens Não Viáveis

Interface Web – Simples, Clara e Operacional

A interface web deverá ser leve, responsiva e focada em usabilidade, permitindo:
    •    Visualização de todos os leilões identificados
    •    Acesso detalhado a cada leilão com separação clara em:
    •    Aba Itens Viáveis
    •    Aba Itens Não Viáveis
    •    Exibição completa de cada item:
    •    Fotos
    •    Nome
    •    Valores (inicial, atual e próximo lance)
    •    Percentual de lucro
    •    Valor máximo de lance
    •    Link direto para o item no site do leilão

Para itens classificados como não viáveis, o usuário deverá poder marcar manualmente um item como viável, mantendo um destaque visual explícito que indique override manual, sem perder a classificação original.

Ações e Operação do Sistema

Na tela principal, deverão estar disponíveis os seguintes controles:
    •    Buscar: Executa nova varredura nos sites configurados
    •    Limpar e Buscar: Remove dados anteriores e executa um ciclo completo
    •    Atualizar: Atualiza os valores de lance dos itens já coletados

O sistema deverá garantir que atualizações não quebrem análises anteriores e mantenham a consistência dos dados.

Requisitos Técnicos e Desejáveis
    •    Backend preferencialmente em Python (FastAPI ou Flask)
    •    Frontend simples e funcional, preferencialmente com TailwindCSS
    •    Persistência local (SQLite ou equivalente)
    •    Código organizado, documentado e versionável
    •    Estrutura preparada para evolução futura

Ao final do projeto, espera-se uma plataforma inteligente de análise de leilões, capaz de transformar grandes volumes de dados brutos em informações claras, acionáveis e financeiramente relevantes, permitindo ao usuário tomar decisões rápidas, embasadas e seguras na participação em leilões numismáticos.

Categoria TI e Programação
Subcategoria Programação
Qual é o alcance do projeto? Criar um novo site personalizado

Prazo de Entrega: Não estabelecido

Habilidades necessárias