Sistema Web Scraping


Evaluando propuestas
Descripción:
Se necesita un sistema que realice web scraping a sitios web para investigación de mercados.

El sistema deberá hacer esta labor en varios sitios de internet al mismo tiempo. Por cada nuevo sitio se customizará; el tiempo que estará rastreando el sitio (fechas, días o indeterminadamente), las palabras a excluir y cadenas que se busquen.

Toda información recabada se almacenará en una base de datos, para después obtener estadísticas (por día, palabras y/o cadenas más repetidas y numero de páginas) y aplicar filtros de búsqueda.

La labor del sistema es iniciar en el index del sitio y de ahí rastrear todas la páginas linkeadas, hacerlo continuamente para verificar cuando el sitio indexe páginas nuevas.

Por cada página rastreada guardar la url, la fecha cuando se indexó y todo el texto y separar por palabras y/o cadenas. Habrá que tener un listado de pronombres, conjunciones y preposiciones para no tomarlos en cuenta.

Se piensa que el desarrollo sea en PHP y MySQL, se proporcionará un VPS para el desarrollo e implementación. Todo debe quedar documentado para futuras versiones.

Categoría: IT & Programación
Subcategoría: Programación Web
¿Cuál es el alcance del proyecto?: Cambio mediano
Es un proyecto o una posición?: Un proyecto
Actualmente tengo: Tengo una idea
Experiencia en este tipo de proyectos: No (No he administrado este tipo de proyectos anteriormente)
Disponibilidad requerida: Según se necesite
Roles necesarios: Desarrollador

Abierto

Presupuesto

5

Propuestas

13

Freelancers interesados

Publicado: Hace un año

Plazo: No definido

Crea tu propio proyecto

¿Buscas un freelancer para realizar un proyecto similar? Crea tu propio proyecto y recibirás ofertas de los mejores freelancers.


Freelancers que ya aplicaron para este trabajo

Hermann B. Profesional de Sistemas, 25 años de experiencia, Administrador de Bases de Datos (PG, MySQL, MSSQL, Oracle), Desarrollador Web, Administrador Linux. Experiencia en Supervisión, ERPs, Sistemas de Información (Industria... + detalles

ISMCENTER, Tecnología e Innovación Somos una empresa especializada en diseño y desarrollo de Software, app mobiles, desarrollo de sistemas y Marketing digital, orientada al éxito de nuestros clientes ofreciéndole productos y servicios de alta calidad e... + detalles

JD. E. Los años que llevo en el sector empresarial, me han ensañado de las necesidades en distintos procesos que se buscan agilizar y controlar, esta experiencia, mas el uso de tecnología, me permiten ofrecerle no solo el co... + detalles

Larroja Somos expertos en diseño y desarrollo de software a medida. Nuestro equipo de trabajo tiene más de siete años de experiencia en el sector. Es por eso que somos su mejor elección. Nos dedicamos al diseño y desarroll... + detalles