Analisando propostas

Data Mining/Web Scraping

Publicado em 23 de Julho de 2024 dias na TI e Programação

Sobre este projeto

Aberto

For this project I am looking for someone to scrape 500k+ web pages (all in one location - a list) for simple data extraction.  This is all public information with simple formatting.  As an example, it is a list of 50 lines and about 4000 pages, each line with a profile page.  You will need a crawler to open every profile on every line (5) for all 4000 pages.  Then each page will have to be scraped for basic data.  I need this example done about 50 times over.  Yes, a lot of data but if you know what you are doing, this can be completely automated. This can lead to future opportunities as well.

Categoria TI e Programação
Subcategoria Programação
Qual é o alcance do projeto? Bug ou alteração pequena
Isso é um projeto ou uma posição de trabalho? Um projeto
Disponibilidade requerida Conforme necessário
Integrações de API Outros (Outras APIs), Cloud Storage (Dropbox, Google Drive, etc)
Funções necessárias Outro
Outras funções necessárias Build the crawler and scraper and/or use an existing one and extract the data. If I had the time I would do this myself it's not a very complicated gig.

Prazo de Entrega: 16 de Agosto de 2024

Habilidades necessárias

JavaScript MySQL PHP

Voce gostaria de começar trabalhar neste projeto?

Entre com sua conta Workana ou faça o seu cadastro! Potencialize seu trabalho freelancer

Outro projetos publicados por A. H.