Sistema para coleta de dados ou raspagem web


Completed
Description:
PROJETO

Sistema Web + Mobile de coleta de dados web, ou raspagem web, através de mineração que permita a extração de dados de sites da web convertendo-os em informação estruturada para posterior análise. A análise deverá ser feita pelo sistema através de processo automático, gerando relatórios específicos.

1.    Processos Licitatórios
Todos os estados e municípios fazem publicações de obras, serviços e produtos. Para isso, eles publicam "extratos" de cada processo licitatório, que são objeto, tipo e número do edital, data de retirada do edital, data de licitação, etc. Ou seja, um resumo daquilo que será licitado.

O sistema que queremos desenvolver deverá coletar essas informações em diários oficiais, que podem ser municipais, estaduais e federais, e até mesmo jornais locais.
O usuário deverá cadastrar as cidades de interesse, o tipo de edital que deseja ser informado e, automaticamente, o sistema atualizará as informações e o notificará. A atualização e notificação deverão ser feita sem a necessidade de usuário solicitar.

2.    Convênios
O governo federal gerencia a maior parte dos convênios federais através de um único sistema. Nele constam informações como: vigência do convênio, valor liberado, saldo disponível, pagamentos realizados, etc... E eles disponibilizam isso diariamente num portal do governo, no formato csv e zipados. No entanto, essas informações vêm embaralhadas, sendo necessário identificar o número do Convênio e o Código Identificador do Convênio, para que as pesquisas sejam completadas e tenha êxito no resultado.
Nós fazemos essa coleta de dados através de um planilha de Excel, mas, como são muitas informações e os arquivos muitas vezes ultrapassam 1 gb de memória, fica difícil de obter o resultado esperado, além de se tornar um processo demorado.
O sistema que queremos desenvolver deverá tratar e organizar essas informações conforme filtros específicos. Assim, num processo automatizado, todos os dias o robô gerará essas informações, salvando-as por data.

3.    Principais Funcionalidades
•    Gerar relatórios específicos e informando nos campos pré-determinados automaticamente;
•    Notificar o usuário através de “push notificatinons”, alertando-o para novas informações coletadas pelo sistema;
•    Processo automático de ponta a ponta, sem necessidade de intervenção humana para tanto;
•    O usuário cadastrará algumas informações básicas, como cidades de interesse para participar de processos licitatórios, número de convênio, etc. O sistema, a partir dessas informações, fará a busca automática uma vez por dia, em horário pré-estabelecido;
•    O sistema deverá ser web + mobile.

Buscamos profissionais com experiência nesse tipo de desenvolvimento, que seja comprometido, que interaja com os contratantes e obedeça a prazos.
Mais informações e fluxo de como o sistema deverá ser desenvolvido, será enviado para o profissional escolhido.

Category: IT & Programming
Subcategory: Web development
What is the scope of the project?: Create a new custom site
Is this a project or a position?: Project
I currently have: I have specifications
Required availability: As needed
Roles needed: Designer, Developer

JavaScript MySQL PHP

USD 500 - 1,000

Budget

5

Bids

12

Interested freelancers

Published: 8 months ago

Deadline: 60 days

Create your own project

Are you looking for a freelancer to work on a similar project? Create your own project and you’ll receive proposals from the best freelancers.


Freelancers who already applied to this project

RZ W. B. I. S.Expecialista em desenvolvimento de robôs da web, crawlers, scraping, mercado financeiro e outros. Mais de 10 anos de experiencia. Bots para mercado financeiro, detrans, receita federal, Instagram, facebook e outros. M... More details

Ricardo P.Trabalho com sistemas voltados a atender varejo e governo. Passei por grandes Operadoras de Telefonia Fixa como Embratel, Multinacional Japonesa Brastel, entre outras Em 2015, dei inicio em um projeto próprio Avi... More details