Ia "limpa"

Hoje tenho um projeto que usa API da OpenAI e Google. Esse projeto está rodando em alguns clientes e queria remover essa dependência dessas duas APIs e quais quer outra que tenha no mercado...
Projeto: É um projeto relativamente simples que responde dúvidas e acompanha o nosso cliente a um determinado estado de conversa, podendo assim ser encerrada ou passada para um agente humano.
Para usar essas duas ferramentas, nós usamos um prompt inicial de 700 tokens aproximadamente, mantendo esse prompt em toda a conversa para manter a coerência e evitar a alucinação do modelo.
Cuidados: Várias medidas de segurança são tomadas por nós para que um chat não se cruze com outra e respostas indevidas ou informações privadas sejam enviadas a pessoas, ou de pessoas de forma errada.
Esperado: Hoje dois novos clientes estão nos pedindo o que é esperado desse projeto.
1. Que esses dados estejam apenas em datacenter/banco de dados/etc nosso, logo não podemos enviar esses dados para OpenAI ou Google (de certa forma).
2. Que eles esteja totalmente isolado, estrutura, banco, llm, etc.
Com essas e algumas exigências pensamos que seria ótimo além de atender esses termos uma forma de remover ou não no dia 0 ficarmos dependentes apenas de nós. Sabemos outros problemas que isso traz, etc.

O que imaginamos? Imaginamos em ter algum modelo básico que tenha capacidade de processamento llm e tal, mas que seja leve o máximo possível e que possamos subir em alguma instância sei lá um ec2 "baratinho" e que atenda uma parcela dos nossos clientes enquanto não atingimos o custo de uso de hospedagem de um Llama 3.

Utopia: Um modelo MUITO leve que pudesse ser especifico por cliente, que fosse de fato um especialista apenas naquele cliente onde não precisássemos passar prompt algum inicial, pois ele já sabe tudo o que tem que saber daquele nosso cliente.
Um exemplo minimamente parecido é o notebooklm que dependendo do que conteúdo que passamos para ele o mesmo se torna um especialista naquele conteúdo e nos responde qualquer questão.