Sobre este projeto
it-programming / artificial-intelligence-1
Aberto
Estamos buscando um Engenheiro de Inteligência Artificial experiente para realizar o deploy local de um Modelo de Linguagem Grande (LLM) de código aberto em nosso hardware próprio. O objetivo principal é criar um assistente de pesquisa avançado e uma ferramenta de escrita criativa para uso privado e offline, sem quaisquer restrições de conteúdo.
Requisitos mandatórios:
- O modelo deve ser uma variante modificada pela comunidade, classificada como "Uncensored" ou "De-aligned" (exemplos incluem variantes Dolphin, WizardLM ou Hermes baseadas em Llama 3 ou Mistral).
- O modelo não deve aplicar filtros de recusa (guardrails) durante testes de estresse textuais, garantindo total liberdade criativa e de pesquisa.
Escopo do Projeto:
1. Auxílio na escolha do modelo ideal: O profissional deverá nos orientar na seleção de um modelo de 7B a 8B parâmetros que seja compatível e otimizado para o nosso hardware existente.
2. Instalação local: Realizar a instalação do LLM utilizando ferramentas como Ollama, LM Studio ou Docker, garantindo um ambiente de execução estável e eficiente.
3. Configuração de interface gráfica: Configurar uma interface de usuário intuitiva, como o Open WebUI, com suporte a chat por texto e funcionalidade de voz simples.
4. Orientação para RAG: Fornecer orientação básica sobre como subir e utilizar arquivos de texto locais através da funcionalidade de Retrieval Augmented Generation (RAG) nativa da interface.
Buscamos um profissional com portfólio comprovado em projetos de deploy local de LLMs e experiência com modelos "uncensored". Por favor, envie sua proposta detalhando sua experiência relevante e uma estimativa de horas para a conclusão do projeto.
Categoria TI e Programação
Subcategoria Inteligência Artificial
Tamanho do projeto Grande
Prazo de Entrega: Não estabelecido
Habilidades necessárias