Webscrapping Shopee

WebScrapping Shopee

O projeto consiste na criação de uma aplicação de web scraping em Python para extração de dados detalhados da plataforma Shopee. A aplicação deverá ser capaz de minerar informações de anúncios e vendedores, contornando bloqueios e restrições da plataforma, com a possibilidade de automação e armazenamento dos dados em um banco de dados SQLite, com futura migração para MySQL.

Escopo do Projeto

1. Desenvolvimento da Aplicação de Web Scraping:
- Minerar Dados de Anúncios: Implementação de uma lógica para realizar pesquisas na Shopee usando termos específicos ou códigos de vendedores, extraindo dados detalhados como título, descrição, preço, estoque, avaliações, variações de produtos, entre outros.
- Minerar Dados de Vendedores: Capacidade de extrair informações detalhadas de todos os produtos listados por um vendedor específico, utilizando o código de identificação do vendedor.
- Verificação de Informações Ocultas: Implementação de técnicas para identificar e extrair informações ocultas nos anúncios, similar ao que ocorre na API do MercadoLivre.
- Contorno de Bloqueios e Restrições: Desenvolvimento de soluções para contornar bloqueios de scraping, incluindo o uso de proxies, headers dinâmicos, e automação de login para evitar captchas.

2. Armazenamento e Organização de Dados:
- Banco de Dados: Os dados extraídos serão inicialmente armazenados em um banco de dados SQLite, com possibilidade de migração para MySQL posteriormente.

3. Requisitos Técnicos:
- Tecnologia: A aplicação será desenvolvida em Python, utilizando bibliotecas como BeautifulSoup, aiohttp, requests, Scrapy ou Selenium.
- Documentação: Código bem documentado, garantindo facilidade de manutenção e escalabilidade.

4. Funcionalidades Extras (Opcional):
- Execução Periódica: Implementação de um sistema para execução periódica do scraping.
- Interface de Configuração: Desenvolvimento de uma interface simples para configuração dos termos de pesquisa e execução do scraping.

Obs.: Favor informar o prazo de manutenção se caso ocorrer algum erro ou garantia.
Faria uso somente da api ou faria um "combo" de dados que tem somente na API ou que são mais fáceis de obter por lá e também pegaria informações que possam conter somente realizando o request?
Existiria algum custo de manutenção? Manutenção sendo alguma api que seria usada ou alguma aplicação que precisaria de um gasto conforme uso ou mensal?
Também seria preciso que fossem pegas as variações de um mesmo anúncio, como exemplo:
- Uma pistola de massagem elétrica, aonde cada cor possui um valor diferente
Verificar também as questões dos bloqueios gerados pelo site deles e como poderia ser burlado, a intenção é fazer o uso de diversas máquinas para rodar o programa.

Favor se atentar a questão de responsabilidade para/com o projeto para que possamos evitar problemas, sempre avisar e se comunicar (essencial)
Segue exemplo também em anexo, sendo realizado em python