Alojado e monitorizado, com modelos avaliados e atualizados à medida que os dados mudam, acordado consigo.
Combinar alojamento e suporte
Setores para os quais desenvolvemos software
Desenvolvimento de software à medida para cada setor: web, móvel e IA, construído e auditado em segurança pela mesma equipa.
Também desenvolvemos software para seguros (insurtech), administração pública (govtech), energia e media. Se o seu setor não estiver na lista, também podemos desenvolver software para ele.
Tecnologias e ferramentas para o desenvolvimento de LLM privados
Os modelos abertos que testamos com os seus casos, e as ferramentas com que os servimos, afinamos e mantemos.
Quando compensa um LLM privado em vez de uma API de IA?
Quando os seus dados não podem ir para um fornecedor externo, quando o seu volume torna caro pagar por token, ou quando precisa de controlar a velocidade e a disponibilidade. Para um protótipo, ou para o raciocínio mais difícil, uma API alojada é muitas vezes o melhor ponto de partida, e dizemos-lho. Muitas equipas acabam num modelo híbrido: privado para o sensível e o rotineiro, alojado para o resto.
Pode funcionar nos nossos servidores, ou mesmo sem internet?
Sim. Implementamos on-premise, na sua própria conta na cloud ou totalmente isolado. Numa instalação isolada, os modelos, as suas dependências e cada atualização são trazidos sem ligação, e os servidores não têm caminho para fora.
Que modelos abertos usam, e são tão bons como o GPT ou o Claude?
Llama, Qwen, Mistral, Gemma e DeepSeek, entre outros. Os melhores modelos abertos já igualam os alojados em muitas tarefas do dia a dia, e um modelo afinado pode superá-los nas suas, embora não em tudo. Primeiro testamos os candidatos com os seus próprios exemplos, para que veja a diferença antes de decidir.
De que hardware precisamos?
Depende do tamanho do modelo e do seu tráfego. Um modelo pequeno funciona com uma só GPU; um grande precisa de várias, ou de uma versão quantizada que caiba em menos. Dimensionamos o hardware para a sua carga de trabalho antes de comprar o que quer que seja, e podemos trabalhar com servidores que já tenha.
Precisamos de fine-tuning, ou basta o RAG?
Para responder com os seus documentos, o RAG costuma bastar e mantém os dados atualizados. O fine-tuning serve para um formato, um tom ou uma tarefa concreta, e permite que um modelo pequeno faça o trabalho de um maior. Treinar um modelo de raiz raramente compensa; diremos se o seu caso é a exceção.
De que dados precisa o fine-tuning, e para onde vão?
Normalmente, de umas centenas a uns milhares de bons exemplos da tarefa, que ajudamos a reunir e limpar. O treino corre na sua infraestrutura ou na sua conta na cloud, por isso os dados nunca saem dela, e os dados pessoais podem ser removidos antes.
Pode trabalhar com os nossos documentos e sistemas?
Sim. O modelo disponibiliza uma API compatível com a OpenAI, por isso a maioria das ferramentas e do código liga-se tal como está. Por cima construímos RAG privado sobre os seus documentos, assistentes para as suas equipas e agentes de IA que atuam nos seus sistemas.
Como são protegidos os nossos dados?
Prompts, ficheiros e respostas ficam dentro da sua rede. Entra-se com o seu início de sessão único, cada equipa chega só ao que lhe cabe, cada pedido fica registado e a implementação é testada contra injeção de prompts e fugas de dados antes do lançamento.
De quem são o modelo e o código?
Normalmente, seus: num trabalho para um cliente, os pesos afinados, os dados de treino, o código e a configuração são seus conforme o acordo, e funcionam na infraestrutura que controla. As licenças dos modelos abertos variam, e verificamos que cada uma serve o seu uso.
Quanto tempo demora e quanto custa?
Testar modelos com os seus casos e dimensionar o hardware leva uma a duas semanas, uma primeira implementação duas a seis, e o fine-tuning mais umas semanas quando compensa. O custo de funcionamento é sobretudo o hardware ou as GPU na cloud, um custo fixo em vez de uma fatura por token. Depois de uma primeira chamada enviamos uma estimativa por escrito.