Integração com fornecedor (Crawler)

PROJETO: Realizar integração com site para captura de preço.
O projeto é dividido em duas partes separadas a ser desenvolvido.

1ª Etapa. Os fornecedores a ser desenvolvido o crawler nós já trabalhamos, então já temos uma lista de Códigos dos produtos o qual hoje atualizamos preço de forma manual. Então o objetivo é desenvolver o crawler para atualização de preço com frequencia para manter nossa base atualizada.


2ª Etapa. Acessar o site do fornecedor e coletar os dados do produto, como titulo, descrição, urls de imagens, categoria, preço, valor de frete, para gerar uma lista do catalogo do fornecedor e posteriormente iremos analisar quais destes produtos iremos enviar pra lista de produção em nosso sistema/site.

Segue alguns dos sites a ser desenvolvido o crawler e suas particularidades:

www.vvatacado.com.br: Neste tem que acessar, efetuar Login, navegar pelos produtos conforme nossa listagem, selecionar a variação de voltagem nos que houve e simular frete, para então obter a disponibilidade, preço e frete a ser extraído.

www.fujiokadistribuidor.com.br: Efetuar login para carregar os preços, navegar pela lista de produtos, preencher a quantidade do carrinho 5 unidades e clicar em adicionar ao carrinho e verificar se tem disponível ou não.

Temos um sistema que hoje subimos arquivos de atualizações via planilha, o objetivo é que após desenvolvido o crawler, integremos o resultado das atualizações direto no banco de dados em MySQL do fornecedor correspondente.