Data mining web scraping - Se Busca Freelancer

Sobre este proyecto

Abierto

For this project I am looking for someone to scrape 500k+ web pages (all in one location - a list) for simple data extraction. This is all public information with simple formatting. As an example, it is a list of 50 lines and about 4000 pages, each line with a profile page. You will need a crawler to open every profile on every line (5) for all 4000 pages. Then each page will have to be scraped for basic data. I need this example done about 50 times over. Yes, a lot of data but if you know what you are doing, this can be completely automated. This can lead to future opportunities as well.

Categoría Programación y Tecnología
Subcategoría Programación Web
¿Cuál es el alcance del proyecto? Bug o cambio pequeño
¿Es un proyecto o una posición? Un proyecto
Disponibilidad requerida Según se necesite
Integraciones de API Otros (Otras APIs), Cloud Storage (Dropbox, Google Drive, etc.)
Roles necesarios Otro
Otros roles necesarios Build the crawler and scraper and/or use an existing one and extract the data. If I had the time I would do this myself it's not a very complicated gig.

Plazo de Entrega: 16 Agosto, 2024

Habilidades necesarias

JavaScript MySQL PHP

Data Mining/Web Scraping

Sobre este proyecto

it-programming / web-development

Abierto

Otros proyectos publicados por A. H.