Evaluando propuestas

Desenvolvedor Python para Automação e Web Scraping

Publicado el 11 Junio, 2024 en Programación y Tecnología

Sobre este proyecto

Abierto

Estamos em busca de um desenvolvedor Python (pode ser outra linguagem se atender aos requisitos) experiente para criar automações de web scraping. O objetivo é coletar dados de diferentes fontes na internet, incluindo anúncios no Facebook Marketplace, notícias de sites específicos e vagas de emprego do Google.

Requisitos do Projeto
1. Scraping de Anúncios no Facebook Marketplace
  - Dados a serem extraídos: título do anúncio, preço, link do anúncio, descrição, local, imagens, etc.
  - Frequência: Coleta regular, preferencialmente com uma atualização diária e verificação de links.

2. Scraping de Notícias
  - Sites-alvo: Específicos (serão fornecidos detalhes posteriormente).
  - Dados a serem extraídos: Título da notícia, link, resumo, data de publicação, autor, etc.
  - Frequência: Coleta regular, com uma atualização diária ou conforme novas notícias sejam publicadas.

3. Scraping de Vagas de Emprego no Google
  - Dados a serem extraídos: Título da vaga, empresa, localização, descrição, requisitos, link para aplicação, etc.
  - Frequência: Coleta regular, preferencialmente com uma atualização diária.

Habilidades e Experiência Necessárias
- Experiência comprovada em desenvolvimento de scripts de scraping utilizando Python.
- Experiência com automação de tarefas repetitivas na web.
- Capacidade de contornar mecanismos de proteção anti-scraping.
- Conhecimento de melhores práticas para scraping responsável, evitando sobrecarga em servidores.
- Experiência com manipulação e armazenamento de dados (json, csv, bancos de dados, etc.).
- Capacidade de documentar o código de forma clara e concisa.

Diferenciais
- Experiência com deploy de scripts em servidores para execução automática (cron jobs).
- Conhecimento em APIs e métodos de integração de dados.
- Familiaridade com processamento de imagens e análise de dados.

Entregáveis
- Scripts funcionais para as três tarefas de scraping detalhadas.
- Documentação detalhada sobre o uso e configuração dos scripts.
- Relatórios de erros e logs de execução.

Como se Candidatar
Interessados, por favor, enviem:
- Portfólio ou exemplos de trabalhos similares realizados.
- Proposta de preço e prazo estimado para conclusão do projeto.
- Breve descrição das ferramentas e tecnologias que pretende usar.

Categoría Programación y Tecnología
Subcategoría Programación Web
¿Cuál es el alcance del proyecto? Bug o cambio pequeño
¿Es un proyecto o una posición? Un proyecto
Actualmente tengo Tengo las especificaciones
Disponibilidad requerida Según se necesite
Integraciones de API Otros (Otras APIs)
Roles necesarios Programador

Plazo de Entrega: No definido

Habilidades necesarias