Sobre este projeto
it-programming / mobile-development
Aberto
Prompt Detalhado para Criação de App "Mentor AI Copilot" no Replit
Título do Projeto: Mentor AI Copilot - Assistente de Sessões em Tempo Real
Objetivo Principal: Desenvolver uma aplicação web em Python, hospedada no Replit, que atua como um "copiloto" para mentores. A aplicação deve capturar áudio e vídeo de sessões online (via compartilhamento de tela/microfone), analisá-los em tempo real com dois agentes de IA distintos e fornecer insights para o mentor, além de gerar relatórios pós-sessão.
1. Arquitetura e Tecnologias Sugeridas
Linguagem: Python
Framework Web/UI: Streamlit (ideal para prototipagem rápida e dashboards de dados) ou Flask.
Captura de Áudio: Biblioteca pyaudio para acesso ao microfone em tempo real.
Processamento de Áudio:
Transcrição: API da OpenAI (Whisper) ou uma biblioteca como SpeechRecognition.
Análise de Tonalidade: Biblioteca librosa para extrair características como tom, energia e ritmo da voz.
Captura de Vídeo/Tela: Biblioteca mss para captura de tela e OpenCV para processamento de imagem.
Nota: A captura direta de janelas de apps (Zoom, Teams) é complexa. A abordagem inicial será a captura da tela inteira ou de uma região selecionada pelo usuário.
Inteligência Artificial: API da OpenAI (Modelos GPT-4 ou superior) para os agentes "Athena".
2. Módulos Funcionais do Aplicativo
Módulo 1: Dashboard e Captura de Dados
Interface do Usuário (UI):
Criar uma interface simples com Streamlit.
Deve conter:
Um botão "Iniciar Sessão" que ativa a captura de áudio e tela.
Um botão "Finalizar Sessão" que para a captura e inicia a geração de relatórios.
Uma área de texto para exibir a transcrição da conversa em tempo real.
Uma "Caixa de Sugestões" onde os feedbacks dos agentes de IA aparecerão.
Uma área para exibir o "Estado Emocional" do mentorado.
Captura de Áudio em Tempo Real:
Implementar um fluxo que continuamente captura áudio do microfone padrão.
Dividir o áudio em blocos (ex: 5-10 segundos) para processamento.
Transcrever cada bloco de áudio para texto em tempo real e exibir na UI.
Captura de Vídeo/Tela (Opcional - Fase 2):
Permitir que o usuário selecione uma área da tela para monitorar (onde a janela do mentorado está).
Capturar frames de vídeo dessa região em intervalos regulares (ex: a cada 2-3 segundos).
Módulo 2: Agentes de IA em Tempo Real (Core da Aplicação)
Este módulo enviará continuamente dados para a API da OpenAI com prompts específicos.
Agente 1: "Athena Copilot" (Análise de Conversa)
Input: O texto transcrito da conversa.
Lógica: A cada novo trecho de transcrição, envie o histórico recente da conversa para a api do gpt.
Prompt para a IA (exemplo):
Você é 'Athena Copilot', um especialista em mentoria e comunicação. Analise o seguinte diálogo de uma sessão de mentoria. Com base apenas no último trecho, forneça sugestões curtas e acionáveis para o mentor em tempo real. Foco em:
- Melhorar a abordagem de uma pergunta.
- Sugerir uma mudança de ritmo (acelerar/desacelerar).
- Propor o uso de uma ferramenta ou dinâmica relevante ao tópico.
- Manter a conversa fluindo.
Se nenhuma sugestão for necessária, responda com 'N/A'.
Histórico: [texto do histórico da conversa]
Último trecho: [último trecho transcrito]
Sua sugestão para o mentor:
Output: As sugestões devem aparecer na "Caixa de Sugestões" da UI.
Agente 2: "Athena Body Language" (Análise Visual e Vocal)
Input: Frames de vídeo capturados e/ou análise das características do áudio (tonalidade).
Lógica:
Análise de Áudio (Prioridade 1): Use librosa para extrair pitch (tom), volume e velocidade da fala do áudio do mentorado. Envie esses dados para a IA.
Análise de Vídeo (Prioridade 2): Envie frames de imagem para um modelo de visão (como GPT-4 Vision).
Prompt para a IA (exemplo com dados de áudio):
Você é 'Athena Body Language', um especialista em psicologia e linguagem não-verbal. Analise os seguintes dados vocais do MENTORADO: Tom da voz: [ex: 'baixo e monotono'], Velocidade da fala: [ex: 'lenta'], Volume: [ex: 'baixo']. Com base nisso, infira o estado emocional atual mais provável (ex: 'Cansado', 'Desinteressado', 'Reflexivo', 'Ansioso', 'Engajado'). Forneça também uma sugestão ao MENTOR sobre como ajustar sua própria tonalidade de voz em resposta.
Estado Emocional Inferido:
Sugestão para o Mentor:
Output: Exibir o "Estado Emocional Inferido" e a sugestão de tonalidade na UI.
Módulo 3: Inteligência de Final de Sessão
Gatilho: Quando o sistema detectar palavras-chave como "vamos encerrar", "para finalizar", "concluindo", ou 3 minutos antes do tempo programado da sessão.
Lógica: Enviar a transcrição completa da sessão para a api do gpt.
Prompt para a IA (exemplo):
Você é um estrategista de desenvolvimento pessoal. A seguir está a transcrição completa de uma sessão de mentoria. Com base nas dificuldades e temas discutidos pelo MENTORADO:
1. Crie um plano de ação com 2-3 passos práticos para o mentorado seguir.
2. Sugira 1-2 ferramentas (apps, livros, artigos) que possam ajudar.
3. Se uma dificuldade complexa foi mencionada, sugira um tipo de especialista externo que poderia ser consultado (ex: 'Consultor de Carreira', 'Terapeuta Financeiro').
Responda em formato de tópicos claros.
Transcrição: [texto completo da transcrição]
Output: As sugestões devem aparecer em uma nova seção na UI, para o mentor discuti-las com o mentorado antes de desligar.
Módulo 4: Relatórios Pós-Sessão
Gatilho: Clique no botão "Finalizar Sessão".
Lógica: Enviar a transcrição completa para a api do gpt com dois prompts separados.
Prompt 1 (Resumo para o Mentorado):
Crie um resumo detalhado e estruturado da sessão de mentoria a seguir. Organize por:
- Principais Tópicos Discutidos
- Insights e Descobertas
- Plano de Ação e Próximos Passos
Transcrição: [texto completo da transcrição]
Prompt 2 (Feedback para o Mentor):
Atue como um coach de mentores sênior. Analise a performance do MENTOR na transcrição a seguir. Forneça um feedback construtivo e privado para o MENTOR, incluindo:
- 2 a 3 pontos de melhoria de desempenho (ex: 'Permitir mais pausas para reflexão', 'Fazer mais perguntas abertas').
- Uma sugestão estratégica sobre o que focar ou qual abordagem usar na próxima sessão com este mesmo mentorado.
Transcrição: [texto completo da transcrição]
Output: Apresentar os dois relatórios em abas separadas na UI, com um botão para "Copiar" ou "Baixar como .txt".
Categoria TI e Programação
Subcategoria Programação de Apps para Android, iOS e outros
Qual é o alcance do projeto? Alteração média
Isso é um projeto ou uma posição de trabalho? Um projeto
Tenho, atualmente Eu tenho uma ideia geral
Disponibilidade requerida Conforme necessário
Plataformas exigidas Outro
Eu preciso Criar um app
Tipo de aplicativo Outro
Precisa de back-end Sim
Gateway de pagamento Não
Prazo de Entrega: Não estabelecido
Habilidades necessárias