Robô para extração de dados em site


Realizado
Descrição:
Necessito de um robô para a extração de dados de um site.

O site tem uma proteção para evitar este tipo de operação. Se vierem muitas requisições de um mesmo IP, o site corta o acesso.

O robô deverá simular requisições de vários IP's para que o site não detecte que se trata da mesma origem. Pode acessar/simular um proxy e acessar o site a partir deste proxy (uma ideia), ou a cada instância acessar com um novo IP gerado automaticamente.

Deverá ter várias instâncias (podem ser configuráveis) rodando simultaneamente, fazendo requisições e recuperando os dados. Estas instâncias devem ser  finalizadas a cada X segundos ou a cada X requisições e criada uma nova no lugar, sempre com um novo IP.

O volume de dados a serem extraídos é grande. Precisa ser um robô com  uma performance refinada. Dentro das características informadas acima, deve realizar a extração dos dados de no mínimo 30 páginas por segundo, podendo ser configurável este número, variando de acordo com o número de instâncias, também configurável.
Este é o principal ponto deste projeto.

Não existe  captcha no site.

Os dados capturados em cada requisição devem ser gravados em um arquivo texto, em um formato previamente informado.

Desenvolvido preferencialmente em C#, mas pode ser outra linguagem de sua preferência.

Categoria: TI e Programação
Subcategoria: Programação
Isso é um projeto ou uma posição de trabalho?: Um projeto
Tenho, atualmente: Não se aplica
Disponibilidade requerida: Conforme necessário
Experiência nesse tipo de projeto: Sim (Eu já gerenciei esse tipo de projeto)
Funções necessárias: Desenvolvedor

Aberto

Orçamento

2

Propostas

4

Freelancers interessados

Publicado: há 3 anos

Prazo de Entrega: 60 dias

Crie seu próprio projeto

Você está procurando um freelancer para realizar um projeto parecido? Crie seu próprio projeto e você receberá ofertas dos melhores freelancers.


Freelancers que já se candidataram para este trabalho

José R.Analista de sistemas, graduado em estatística, com especialização em produção multimídia e planejamento de ambientes virtuais de aprendizagem. Inglês técnico. Levantamento de informações junto a usuários, utilização d... Mais detalhes

Ricardo I.Fullstack developer (J2EE/Spring/Hibernate, Ruby on Rails, Python - not Django, OpenShift, AWS, Heroku, Vagrant/Docker). MEAN enthusiast, mainly, the Node.JS ecosystem and React (it's not MEAN). Infrastructure ... Mais detalhes