Analisando propostas

Desenvolvimento de Web Crawler para pesquisa de Produtos

Publicado em 02 de Março de 2021 dias na TI e Programação

Sobre este projeto

USD 1.000 - 3.000

Objeto:

Desenvolvimento de um sistema (Banco de Dados, Back End e Front End) para pesquisar os produtos e preços em 15 sites de comércio eletrônico.


Requisitos:

Deverá rastrear todas as categorias de produtos do site, página por página, quando chegar na última página de uma categoria, voltar pra primeira página.


Exemplo:

Categoria TV: https://www.submarino.com.br/categoria/tv-e-home-theater/tv?ordenacao=topSelling&origem=blanca

O sistema vai pegar todas as informações dos produtos dessa categoria, da primeira até chegar a última página em que há produtos em estoque:

https://www.submarino.com.br/categoria/tv-e-home-theater/tv/pagina-24?ordenacao=topSelling&origem=blanca

Quando terminar de rastrear todas as páginas da categoria, ele vai começar de novo e desta forma, comparar o preço da varredura anterior com o preço da varredura atual.

Fim do Exemplo.


No exemplo é explanado uma das maneiras que isso pode ser feito, se conseguir fazer de uma maneira mais fácil e rápida não tem problema.

Deverá armazenar e indexar as informações coletadas em um banco de dados, depois verificar as alterações nos preços dos produtos e armazenar em um campo a porcentagem de alteração no preço.

Deverá armazenar no banco de dados a data e horário da última atualização do produto.

Deverá apresentar os dados em um dashboard, informando a Categoria do Produto, Descrição do Produto, Loja, Preço Atual, Preço Anterior, % de Desconto, Diferença de Valor, Histórico de Preços, Data de Alteração do Preço.

Deverá emitir um alerta sonoro quando aparecer uma nova alteração de preço. Este alerta sonoro deverá ser configurável de acordo com a % de queda de preço. Exemplo: Tocar alerta sonoro sempre que o produto baixar 50% (essa porcentagem eu quero poder mudar).






Deverá possuir minimamente os seguintes filtros para exibição no frontend:
- Mostrar produtos que tiveram preços alterados nas últimas xx horas
- Mostrar produtos que tiveram mais de xx % de queda de preço
- Mostrar produtos que tiveram mais de R$ xx de queda de preço
- Mostrar produtos da categoria xxx

Deverá ser possível buscar por produto.

Deverá ser possível classificar por Categoria do Produto, Descrição do Produto, Preço Atual, Preço Anterior, % de Desconto, Diferença de Valor.

Deverá realizar a varredura dos sites automaticamente.

Deverá possibilitar a limpeza da base de dados.

Deverá possuir área administrativa (Criação de Logins de Acesso, Ferramenta para Limpeza da Base de Dados, etc).

Deverá efetuar a varredura nos sites abaixo:

Magazine Luiza - www.magazineluiza.com.br
Amazon - www.amazon.com.br
Americanas - www.americanas.com.br
Shoptime - www.shoptime.com.br
Submarino - www.submarino.com.br
Dafiti - www.dafiti.com.br
Zattini - www.zattini.com.br
Netshoes - www.netshoes.com.br
Centauro - www.centauro.com.br
Carrefour - www.carrefour.com.br
Casas Bahia - www.casasbahia.com.br
Extra - www.extra.com.br
Pontofrio - www.pontofrio.com.br
Nike - www.nike.com.br
Adidas - www.adidas.com.br

Contexto Geral do Projeto

Objeto: Desenvolvimento de um sistema (Banco de Dados, Back End e Front End) para pesquisar os produtos e preços em 15 sites de comércio eletrônico. Requisitos: Deverá rastrear todas as categorias de produtos do site, página por página, quando chegar na última página de uma categoria, voltar pra primeira página. Exemplo: Categoria TV: https://www.submarino.com.br/categoria/tv-e-home-theater/tv?ordenacao=topSelling&origem=blanca O sistema vai pegar todas as informações dos produtos dessa categoria, da primeira até chegar a última página em que há produtos em estoque: https://www.submarino.com.br/categoria/tv-e-home-theater/tv/pagina-24?ordenacao=topSelling&origem=blanca Quando terminar de rastrear todas as páginas da categoria, ele vai começar de novo e desta forma, comparar o preço da varredura anterior com o preço da varredura atual. Fim do Exemplo. No exemplo é explanado uma das maneiras que isso pode ser feito, se conseguir fazer de uma maneira mais fácil e rápida não tem problema. Deverá armazenar e indexar as informações coletadas em um banco de dados, depois verificar as alterações nos preços dos produtos e armazenar em um campo a porcentagem de alteração no preço. Deverá armazenar no banco de dados a data e horário da última atualização do produto. Deverá apresentar os dados em um dashboard, informando a Categoria do Produto, Descrição do Produto, Loja, Preço Atual, Preço Anterior, % de Desconto, Diferença de Valor, Histórico de Preços, Data de Alteração do Preço. Deverá emitir um alerta sonoro quando aparecer uma nova alteração de preço. Este alerta sonoro deverá ser configurável de acordo com a % de queda de preço. Exemplo: Tocar alerta sonoro sempre que o produto baixar 50% (essa porcentagem eu quero poder mudar). Deverá possuir minimamente os seguintes filtros para exibição no frontend: - Mostrar produtos que tiveram preços alterados nas últimas xx horas - Mostrar produtos que tiveram mais de xx % de queda de preço - Mostrar produtos que tiveram mais de R$ xx de queda de preço - Mostrar produtos da categoria xxx Deverá ser possível buscar por produto. Deverá ser possível classificar por Categoria do Produto, Descrição do Produto, Preço Atual, Preço Anterior, % de Desconto, Diferença de Valor. Deverá realizar a varredura dos sites automaticamente. Deverá possibilitar a limpeza da base de dados. Deverá possuir área administrativa (Criação de Logins de Acesso, Ferramenta para Limpeza da Base de Dados, etc). Deverá efetuar a varredura nos sites abaixo: Magazine Luiza - www.magazineluiza.com.br Amazon - www.amazon.com.br Americanas - www.americanas.com.br Shoptime - www.shoptime.com.br Submarino - www.submarino.com.br Dafiti - www.dafiti.com.br Zattini - www.zattini.com.br Netshoes - www.netshoes.com.br Centauro - www.centauro.com.br Carrefour - www.carrefour.com.br Casas Bahia - www.casasbahia.com.br Extra - www.extra.com.br Pontofrio - www.pontofrio.com.br Nike - www.nike.com.br Adidas - www.adidas.com.br

Categoria TI e Programação
Subcategoria Programação
Qual é o alcance do projeto? Criar um novo site personalizado
Isso é um projeto ou uma posição de trabalho? Um projeto
Tenho, atualmente Eu tenho especificações
Disponibilidade requerida Conforme necessário
Experiência nesse tipo de projeto Sim (Eu já gerenciei esse tipo de projeto)
Funções necessárias Designer, Desenvolvedor

Prazo de Entrega: Não estabelecido

Habilidades necessárias

JavaScript MySQL PHP Python

Voce gostaria de começar trabalhar neste projeto?

Entre com sua conta Workana ou faça o seu cadastro! Potencialize seu trabalho freelancer

Outro projetos publicados por F. Y. H.