Robô para extração de dados em site

Terminado

Publicado: Hace 11 meses Plazo: 60 días Propuestas: 3 Freelancers interesados: 6

Abierto

Descripción:

Necessito de um robô para a extração de dados de um site.

O site tem uma proteção para evitar este tipo de operação. Se vierem muitas requisições de um mesmo IP, o site corta o acesso.

O robô deverá simular requisições de vários IP's para que o site não detecte que se trata da mesma origem. Pode acessar/simular um proxy e acessar o site a partir deste proxy (uma ideia), ou a cada instância acessar com um novo IP gerado automaticamente.

Deverá ter várias instâncias (podem ser configuráveis) rodando simultaneamente, fazendo requisições e recuperando os dados. Estas instâncias devem ser finalizadas a cada X segundos ou a cada X requisições e criada uma nova no lugar, sempre com um novo IP.

O volume de dados a serem extraídos é grande. Precisa ser um robô com uma performance refinada. Dentro das características informadas acima, deve realizar a extração dos dados de no mínimo 30 páginas por segundo, podendo ser configurável este número, variando de acordo com o número de instâncias, também configurável. Este é o principal ponto deste projeto.

Não existe captcha no site.

Os dados capturados em cada requisição devem ser gravados em um arquivo texto, em um formato previamente informado.

Desenvolvido preferencialmente em C#, mas pode ser outra linguagem de sua preferência.



Categoria: IT & Programação
Subcategoria: Desenvolvimento web
Isso é um projeto ou uma posição de trabalho?: Um projeto
Tenho, atualmente: Não se aplica
Experiência nesse tipo de projeto: Sim (Eu já gerenciei esse tipo de projeto)
Disponibilidade requerida: Conforme necessário
Funções necessárias: Desenvolvedor

Freelancers que ya aplicaron para este trabajo

José R. Analista de sistemas, graduado em estatística, com especialização em produção multimídia e planejamento de ambientes virtuais de aprendizagem. Inglês técnico. Levantamento de informações junto a usuários, utilização d... + detalles

Guilherme G. Programador experiente, desenvolvimento rápido. Experiência com desenvolvimento web, sistemas financeiros, desenvolvimento de aplicações científicas, projetos de pequeno, médio e grande porte. + detalles

Ricardo I. Fullstack developer (J2EE/Spring/Hibernate, Ruby on Rails, Python - not Django, OpenShift, AWS, Heroku, Vagrant/Docker). MEAN enthusiast, mainly, the Node.JS ecosystem and React (it's not MEAN). Infrastructure ... + detalles

Crea tu propio proyecto

¿Buscas un freelancer para realizar un proyecto similar? Crea tu propio proyecto y recibirás ofertas de los mejores freelancers.