Robô para extração de dados em site

Terminado

Publicado: Hace un año Plazo: No definido Propuestas: 3 Freelancers interesados: 5

Abierto

Descripción:

Necessito de um robô para a extração de dados de um site.

O site tem uma proteção para evitar este tipo de operação. Se vierem muitas requisições de um mesmo IP, o site corta o acesso.

O robô deverá simular requisições de vários IP's para que o site não detecte que se trata da mesma origem. Pode acessar/simular um proxy e acessar o site a partir deste proxy (uma ideia), ou a cada instância acessar com um novo IP gerado automaticamente. Não sei qual a melhor estratégia.

Deverá ter várias instâncias (podem ser configuráveis) rodando simultaneamente, fazendo requisições e recuperando os dados. Estas instâncias devem ser finalizadas a cada X segundos ou a cada X requisições e criada uma nova no lugar, sempre com um novo IP.

Não existe um captcha no site.

Os dados capturados em cada requisição devem ser gravados em um arquivo texto, em um formato previamente definido.

Desenvolvido preferencialmente em C#, mas pode ser outra linguagem.



Categoria: IT & Programação
Subcategoria: Desenvolvimento web
Isso é um projeto ou uma posição de trabalho?: Um projeto
Disponibilidade requerida: Conforme necessário
Funções necessárias: Desenvolvedor

Freelancers que ya aplicaron para este trabajo

Jayson V. -Solução para seus projetos Portifolio: jaysonsantos.me - Desenvolvedor web com projetos finalizados - Sistema Acadêmico - Sitema Juridico - Sistema Penal - Webservice para área contábil - Sistem... + detalles
Brasil

Lucas O. Estudante de Sistemas de Informação na UNESP BAURU. Possuo conhecimentos na área de gerenciamento de projetos e automação de processos(crawlers e scrapers). Atualmente trabalho no levantamento de requisitos, criação ... + detalles
Brasil

Felipe A. d. S. Estou graduando em Ciência da Computação pela Universidade Federal do ABC. Tenho experiência com desenvolvimento web, Python, Javascript e Java. + detalles
Brasil

Crea tu propio proyecto

¿Buscas un freelancer para realizar un proyecto similar? Crea tu propio proyecto y recibirás ofertas de los mejores freelancers.

Brasil

Compartir este proyecto