Realizado

Criar web scraping em Python

Publicado em 02 de Abril de 2021 dias na TI e Programação

Sobre este projeto

Aberto

O objetivo deste projeto, é criar um serviço em Python que rodará por um período indeterminado, porém sua frequência pode ser parametrizado en um arquivo de configuração, sendo que poderei definir em minutos, de quanto em quanto tempo ele deve ler uma página da web específica, que contém um layout também fixado.
Então este serviço vai ler um html de tempo em tempo, obter o conteúdo e gravar num banco SQLite. Cada registro gravado deve conter a data do dia em que está rodando e obter as informações da tabela que fica na página e gravar no SQLite.
Não pode ocorrer duplicações de registros.
Terá também outro serviço em Python que vai ficar lendo as informações do SQLite em paralelo com o web scraping e chamar outra api cujo vou passar o json enviando os registros apenas quando a hora do computador for igual a hora gravada no SQLite. Precisa ter uma configuração em arquivo para eu setar a quantidade de segundos que este segundo serviço vai chamar antecipadamente, exemplo.

Se eu colocar no parâmetro 2 segundos, e a hora atual estiver a dois segundos da hora dos registros gravados no SQLite, ele captura os registros e chama a api, lembrando que a api deve ser chamada registro por registro, não em lote.

Contexto Geral do Projeto

De forma geral, são dois jobs que precisam ficar rodando de tempo em tempo. 1 - é um web scraping quero vai pegar o conteúdo de uma tabela e gravar no banco SQLite; 2 - serviço que vai chamar outra api bem simples passando registro por registro se a data/horário do relógio do Windows for igual ou menor dependendo do parâmetro de antecipação e chamar a api para cada registro que estiver nesta condição. É Muito importante aqui que estes processos sejam super rápidos, pois os horários fazem diferença.

Categoria TI e Programação
Subcategoria Programação
Qual é o alcance do projeto? Alteração média
Isso é um projeto ou uma posição de trabalho? Um projeto
Tenho, atualmente Eu tenho especificações
Disponibilidade requerida Conforme necessário
Integrações de API Outros (Outras APIs)
Funções necessárias Desenvolvedor

Prazo de Entrega: 09 de Abril de 2021

Habilidades necessárias

JavaScript HTML5 Python SQL Lite

Voce gostaria de começar trabalhar neste projeto?

Entre com sua conta Workana ou faça o seu cadastro! Potencialize seu trabalho freelancer