Desenvolvedor Php/Laravel para Web Crawling e Scraping em Mais de 1.000 Sites

Buscamos desenvolvedor com experiência em **PHP, Laravel, Web Crawling e Web Scraping** para implementar coletores automatizados de dados em mais de 1.000 websites de um segmento específico.

O projeto já possui uma arquitetura própria de coleta, processamento e armazenamento de dados. O profissional não precisará desenvolver um sistema do zero, mas sim implementar e adaptar os coletores para diferentes websites, respeitando nossas interfaces, algoritmos e funções existentes.

**Escopo técnico**

- Analisar a estrutura dos websites e identificar padrões de navegação, listagem, paginação e páginas individuais.
- Identificar endpoints JSON, APIs públicas e requisições XHR utilizadas pelos websites, priorizando essas alternativas quando disponíveis.
- Implementar rotinas de crawling para localizar, extrair e organizar registros (anúncios) publicados nos sites.
- Desenvolver os coletores em PHP, preferencialmente utilizando os componentes e funções já existentes no projeto Laravel.
- Extrair informações como URL do anúncio, título, descrição, categoria, preço, localização, datas e outros atributos disponíveis.
- Tratar paginação, redirecionamentos, conteúdo dinâmico, erros HTTP, timeouts e eventuais limitações de acesso.
- Evitar duplicidades e respeitar a estrutura de integração definida pelo contratante.
- Reutilizar código e padrões entre websites que utilizem plataformas semelhantes.

**Arquitetura e integração**

O projeto possui algoritmos próprios para processamento, classificação, normalização e persistência dos registros.

A responsabilidade do contratado será principalmente a **camada de coleta e extração**, entregando os dados em um formato previamente definido e utilizando as funções disponibilizadas.

Não será necessário desenvolver banco de dados, painel administrativo, mecanismos de inteligência artificial ou infraestrutura de publicação.

**Perfil desejado**

Experiência comprovada com PHP, Laravel, html, dom, xpath, expressões regulares, http, json e ferramentas de inspeção de requisições de rede.

Conhecimentos em JavaScript, automação de navegadores (Chrome Headless, Playwright ou Puppeteer) e engenharia reversa de APIs web serão diferenciais.

**Modelo de contratação**

O trabalho será dividido em lotes de websites, com entregas incrementais e possibilidade de contratação recorrente.

O projeto contempla mais de 1.000 sites, muitos deles construídos sobre plataformas semelhantes, permitindo reaproveitamento de soluções.

Inicialmente, pretendemos contratar um lote piloto para avaliar qualidade, desempenho, padronização e capacidade de integração.

**Critérios de aceitação**

Cada coletor deverá identificar corretamente os anúncios dentro do escopo definido, percorrer as páginas relevantes, extrair os dados disponíveis e funcionar integrado à estrutura fornecida.

Os códigos-fonte desenvolvidos deverão ser entregues ao contratante, com documentação objetiva das particularidades de cada website.

Interessados devem informar sua experiência em projetos semelhantes, tecnologias utilizadas e proposta para implementação de um lote piloto.