Desenvolver crawler que vai acessa uma lista de 03 sites

Preciso de crawler que vai acessa uma lista de sites e procura as informações de cada site, coletando as informações de maneira organizada e salvando em um banco de dados.

Por exemplo, vai acessa uma lista de notícias ou documentos e salva as partes que interessam para a busca em um banco de dados.

Precisamos separar a informações em categorias, conforme o conteúdo.

Quando o crawler ler as informações de uma página ou documento vamos querer salvar apenas aquelas informações que são importantes para a busca, evitando que o banco de dados vire algo colossal.

É Importante frisar que o crawler deve ser um algoritmo separado do buscador, que deverá ficar rodando periodicamente para manter a base de dados atualizada.

Precisamos criar uma política para não ter de atualizar toda base toda vez que o crawler rodar.

Uma vez que você montou todo o backend do mecanismo de busca, precisaremos criar uma API.

A página de busca, terá algumas categorias pré-definidas, filtros que iremos utilizar.