Desenvolvedor Full Stack / Ia – Desenvolvimento do Zero de Assistente Virtual Interativa para Totem em Loja Física

O projeto consiste no desenvolvimento completo de um sistema que será instalado em um computador dentro de um totem físico em uma loja. Esse sistema será uma assistente virtual ( AI Talking Avatar ) que interage com clientes automaticamente, sem necessidade de operador humano.

O sistema deve detectar a presença do cliente com dois possíveis modos de acionamento da assistente: botão físico ou sensor de distância. No primeiro modo, a detecção de que há um cliente interessado será feita quando a pessoa apertar um botão físico instalado no totem. Esse botão enviará um comando para o aplicativo da assistente virtual, indicando que deve iniciar a interação. No segundo modo, poderá ser utilizado um sensor de distância posicionado na frente do totem, configurado para detectar quando uma pessoa estiver parada em frente ao equipamento por alguns instantes. Esse sensor não será lido diretamente pelo software da assistente, mas deverá enviar, via JSON, uma mensagem para o aplicativo, sinalizando que uma pessoa está presente e que a assistente deve começar a falar ( iremos entregar essa mensagem ao sistema ). O desenvolvedor deve prever essas duas possibilidades e deixar o sistema preparado para funcionar com botão ou pelo aviso recebido do sensor via json.

Quando acionada, seja pelo botão físico ou pelo sensor de distância via json, a assistente virtual (ai talking avatar) deve iniciar uma interação com o cliente da loja, exibindo. Durante a interação, o sistema deve ter a funcionalidade de capturar da webcam a imagem do rosto do cliente, extrair landmarks faciais com no mínimo 60 pontos e identificar o tom de pele do rosto em rgb e hsv, utilizando a imagem capturada pela webcam. Esses dados devem ser utilizados para personalizar a conversa e sugerir produtos de beleza de forma mais adequada ao perfil da pele do cliente.

O sistema deve falar com o cliente , estabelecer uma interação, convertendo texto em áudio, e deve ser capaz de entender o que o cliente fala utilizando reconhecimento de voz, convertendo fala em texto. A conversa deve seguir um fluxo pré-definido de perguntas e respostas, com uma lógica de estados clara, incluindo pelo menos os estados de aguardando, acionado, conversando e finalizado. Ao final da interação, a assistente pode gerar um resumo ou indicação de interesse de produtos de beleza que será usada pelo time de vendas.

Todas as informações relevantes devem ser geradas em formato JSON, incluindo dados como forma de acionamento da assistente, presença detectada, tempo de permanência, dados faciais, tom de pele e recomendações realizadas.

O sistema também deverá ser capaz de enviar dados sobre as interações e produtos recomendados bem como o nome do cliente para um servidor externo via HTTPs/Webhook/json

O software deve rodar em Windows 11 em modo kiosk, iniciando automaticamente com o sistema operacional e exibindo a interface da assistente em tela cheia. Deve ser estável o suficiente para funcionar 24 horas por dia, com desempenho entre 30 e 60 fps, uso otimizado de cpu e memória e sem travamentos, considerando o cenário de loja aberta o dia todo.

Todo o código deve ser desenvolvido do zero, sem reaproveitamento de projetos anteriores, com estrutura organizada, modular e bem documentada. Ao final, o desenvolvedor deverá entregar o código-fonte completo, um executável funcional para Windows, a documentação técnica, a definição dos formatos JSON utilizados e exemplos claros de integração com Rabbitmq, mqtt ou api rest, incluindo exemplos de mensagens que o sensor de distância enviará ao aplicativo da assistente virtual.

Existe um documento técnico de referência que explica o funcionamento desejado do sistema, o papel do totem dentro da loja e os objetivos comerciais da assistente virtual. Esse documento será fornecido ao desenvolvedor para servir como guia durante o desenvolvimento.