Realizado

Sistema para coleta de dados ou raspagem web

Publicado em 19 de Novembro de 2018 dias na TI e Programação

Sobre este projeto

Aberto

PROJETO

Sistema Web + Mobile de coleta de dados web, ou raspagem web, através de mineração que permita a extração de dados de sites da web convertendo-os em informação estruturada para posterior análise. A análise deverá ser feita pelo sistema através de processo automático, gerando relatórios específicos.

1.    Processos Licitatórios
Todos os estados e municípios fazem publicações de obras, serviços e produtos. Para isso, eles publicam "extratos" de cada processo licitatório, que são objeto, tipo e número do edital, data de retirada do edital, data de licitação, etc. Ou seja, um resumo daquilo que será licitado.

O sistema que queremos desenvolver deverá coletar essas informações em diários oficiais, que podem ser municipais, estaduais e federais, e até mesmo jornais locais.
O usuário deverá cadastrar as cidades de interesse, o tipo de edital que deseja ser informado e, automaticamente, o sistema atualizará as informações e o notificará. A atualização e notificação deverão ser feita sem a necessidade de usuário solicitar.

2.    Convênios
O governo federal gerencia a maior parte dos convênios federais através de um único sistema. Nele constam informações como: vigência do convênio, valor liberado, saldo disponível, pagamentos realizados, etc... E eles disponibilizam isso diariamente num portal do governo, no formato csv e zipados. No entanto, essas informações vêm embaralhadas, sendo necessário identificar o número do Convênio e o Código Identificador do Convênio, para que as pesquisas sejam completadas e tenha êxito no resultado.
Nós fazemos essa coleta de dados através de um planilha de Excel, mas, como são muitas informações e os arquivos muitas vezes ultrapassam 1 gb de memória, fica difícil de obter o resultado esperado, além de se tornar um processo demorado.
O sistema que queremos desenvolver deverá tratar e organizar essas informações conforme filtros específicos. Assim, num processo automatizado, todos os dias o robô gerará essas informações, salvando-as por data.

3.    Principais Funcionalidades
•    Gerar relatórios específicos e informando nos campos pré-determinados automaticamente;
•    Notificar o usuário através de “push notificatinons”, alertando-o para novas informações coletadas pelo sistema;
•    Processo automático de ponta a ponta, sem necessidade de intervenção humana para tanto;
•    O usuário cadastrará algumas informações básicas, como cidades de interesse para participar de processos licitatórios, número de convênio, etc. O sistema, a partir dessas informações, fará a busca automática uma vez por dia, em horário pré-estabelecido;
•    O sistema deverá ser web + mobile.

Buscamos profissionais com experiência nesse tipo de desenvolvimento, que seja comprometido, que interaja com os contratantes e obedeça a prazos.
Mais informações e fluxo de como o sistema deverá ser desenvolvido, será enviado para o profissional escolhido.

Categoria TI e Programação
Subcategoria Programação
Qual é o alcance do projeto? Criar um novo site personalizado
Isso é um projeto ou uma posição de trabalho? Um projeto
Tenho, atualmente Eu tenho especificações
Disponibilidade requerida Conforme necessário
Funções necessárias Designer, Desenvolvedor

Prazo de Entrega: 18 de Janeiro de 2019

Habilidades necessárias

Outro projetos publicados por J. P. D. L.