Evaluando propuestas

Scraping de dados web - complemento

Publicado el 15 Marzo, 2024 en Programación y Tecnología

Sobre este proyecto

Abierto

Preciso fazer alguns complementos em um algoritmo de scraping de dados que já esta implementado em uma VPS.

O algoritmo já faz scraping em 4 sites, porém preciso desses complementos:

1 Incluir mais um site para scraping de razão social e cnpj, e com esses dados entrar no (Banco Nacional de CNPJ), captar email e telefone e quando nao retornar nenhum dado, dessa base, deverá buscar email e telefone no google maps.

2 Os dados coletados devem ser inseridos nos bancos de dados existentes em txt e Excel, filtrando para que não se repitam.

3 O atual algoritmo já faz o scraping e envio de emails ao mesmo tempo, isso provavelmente gera lentidão, no processo, preciso que essas etapas sejam realizadas separadamente. Após o término da etapa de scraping, o usuário inicia no painel a próxima etapa de envios.

OBS. Se o banco de CNPJs, (muito pesado), que está causando a lentidão, implementar outra solução como por exemplo, buscar os dados de fornecedores cadastrados nos próprios sites de licitações, ou outra solução viável.

4 A configuração de envio dos emails já existe dentro do próprio algoritmo, porém preciso que seja inserida a opção de incluir anexo, inerir assinatura com imagem, editar a fonte de texto do email, e no corpo do email puxar automaticamente o nome fantasia ou razão social da empresa e tb dar a opção de configurar o teclado dentro da VPN, pq seguido se desconfigura.

Preciso que após cada scraping e envio de emails, seja retornando no painel/dasboard e tb através de relatórios em Excel, as quantidades de: Emails coletados no scraping, Emails enviados, Emails que não foram entregues e Emails abertos pelos usuários.
Já existe um painel onde os comandos são executados pelo usuário, e todas as ações existentes e novas devem ser feitos através desse painel, sem digitar textos para obter os dados.

5 Realizar testes para rodar todo o sistema durante 3 dias e fazer acompanhamento e solução de possíveis problemas por 30 dias, em caso de algum bug resolver sem custo adicional.

OBS. O projeto somente será considerado concluido e aceito, após a rodar 3 dias sem nenhum problema de lentidão ou qualquer tipo de bug ou erro.

OBS1: O banco de dados e código estão dentro da VPS.
OBS2: Tenho pressa na entrega e conclusão desse projeto, portanto se vc não tem tempo ou tem outros projetos em andamento, favor não se candidatar, pois estou tendo que fazer esse complemento do projeto, justamente pq o freelancer que iniciou o projeto, me deixou na mão com o prazo estourado várias vezes.

Categoría Programación y Tecnología
Subcategoría Programación Web
¿Cuál es el alcance del proyecto? Cambio mediano
¿Es un proyecto o una posición? Un proyecto
Actualmente tengo Tengo las especificaciones
Disponibilidad requerida Según se necesite
Integraciones de API Otros (Otras APIs)
Roles necesarios Programador

Plazo de Entrega: 29 Marzo, 2024

Habilidades necesarias

Otros proyectos publicados por L. R.