Evaluando propuestas

Projeto: Scraping com Login + Mini Portal + Rag com Postgresql + Qdrant (Docker)

Publicado el 09 Mayo, 2025 en Programación y Tecnología

Sobre este proyecto

Abierto

Desenvolver a primeira fase de uma solução de IA com foco em:
Scraping de páginas protegidas por login/senha
Mini portal web para acompanhamento e sincronização
Armazenamento em dois bancos:
PostgreSQL com dados brutos
Qdrant com embeddings vetoriais para ser utilizado em agentes de IA

Contexto general del proyecto

🔐 1. Scraping com Autenticação Acesso a páginas com login e senha Sessão persistente ou reautenticação automática Extração estruturada (número da FAQ, pergunta, resposta, link, etc.) Armazenamento no banco relacional (PostgreSQL) 🌐 2. Mini Portal Web Interface simples com login Visualização e acompanhamento dos dados coletados Upload manual de documentos (pdf, docx, etc.) Sincronização com base vetorial (Qdrant) Indicação do status de indexação 🧠 3. Armazenamento Vetorial e RAG Geração de embeddings com modelo adequado Armazenamento no Qdrant, com metadados Endpoint de consulta com RAG Retorno inteligente baseado em similaridade semântica 🐳 4. Requisito Obrigatório: Docker Todo o projeto deve ser empacotado com Docker Compose Separação de serviços (scraper, API, portal, banco, vetorial) Facilidade para replicar localmente ou em VPS (Docker Swarm é um bônus) ✅ Tecnologias Recomendadas Python (preferencial) ou Node.js PostgreSQL + Qdrant LangChain, LlamaIndex ou outra lib de RAG FastAPI, Flask ou Express Docker + Docker Compose 📦 Entregáveis Código-fonte organizado Arquivos Dockerfile e docker-compose.yml completos Mini portal funcional Scripts de scraping com autenticação RAG operacional com base no Qdrant

Categoría Programación y Tecnología
Subcategoría Programación Web
¿Cuál es el alcance del proyecto? Cambio mediano
¿Es un proyecto o una posición? Un proyecto
Actualmente tengo Tengo las especificaciones
Disponibilidad requerida Según se necesite
Roles necesarios Programador

Plazo de Entrega: No definido

Habilidades necesarias

Otros proyectos publicados por A. D.