Ollama, vLLM ou llama.cpp: qual usar para rodar IA local na empresa?

Para testar um modelo no seu computador, use Ollama; para rodar em máquina modesta, em Mac ou com modelo maior que a memória da placa, use llama.cpp; para atender dezenas de pessoas ao mesmo tempo num servidor com GPU, use vLLM. Os três são gratuitos e de código aberto, e a escolha depende menos de qual é "melhor" e mais de quantas pessoas vão usar a IA ao mesmo tempo.

Você já instalou um modelo de IA no notebook, ficou impressionado e depois descobriu que ele travava quando três colegas usavam junto? Este texto explica o que cada ferramenta faz, onde cada uma brilha e qual escolhemos num levantamento técnico real de IA local para empresa.

As três fazem a mesma coisa básica: carregam um modelo de linguagem aberto e respondem pedidos por uma API, que é a porta por onde outros sistemas conversam com o modelo. A diferença está em para quem cada uma foi pensada.

Ollama. Tem licença MIT, instala em macOS, Windows e Linux ou roda em Docker, e expõe uma API REST na própria máquina. É a forma mais rápida de sair do zero para um modelo respondendo. O repositório oficial mostra o modelo rodando com poucos comandos.

llama.cpp. Também tem licença MIT e é escrito em C/C++. O README do projeto diz que o objetivo é rodar modelos com configuração mínima e bom desempenho numa grande variedade de hardware. Ele trata Apple Silicon como prioridade, aceita quantização de 1,5 a 8 bits, que encolhe o modelo para caber em menos memória, e permite dividir o modelo entre CPU e GPU quando ele não cabe inteiro na placa. O servidor dele, o llama-server, tem API compatível com a da OpenAI, decodificação paralela para vários usuários e lote contínuo.

vLLM. Tem licença Apache 2.0 e se descreve como um motor de inferência de alta vazão e eficiente em memória. O README destaca o PagedAttention, que organiza a memória das conversas em blocos, além de lote contínuo dos pedidos, cache de prefixo e vários adaptadores LoRA no mesmo modelo. A técnica foi publicada num artigo de 2023 de Woosuk Kwon e colegas.

Existe uma frase atribuída a William Gibson, o autor de Neuromancer: "o futuro já chegou, só não está distribuído de maneira uniforme". O Quote Investigator rastreou a frase e concluiu que há evidência forte de que Gibson a usou e a criou, embora as primeiras citações não estejam nos livros dele e a redação varie.

Com IA local é exatamente assim. O modelo que impressiona no notebook de uma pessoa é o futuro chegando. O problema começa quando ele precisa chegar igual para o jurídico, o financeiro e o atendimento ao mesmo tempo. É aí que a escolha do servidor de modelos deixa de ser detalhe técnico.

Um modelo de linguagem gera o texto palavra por palavra. Quando uma pessoa só está usando, quase toda ferramenta vai bem. Quando muitas pessoas pedem ao mesmo tempo, o que decide é se o servidor consegue juntar os pedidos num mesmo lote sem desperdiçar memória.

Um teste publicado no conjunto de benchmarks witcheer/rtx-5090-benchmarks, com o modelo Qwen3-14B quantizado em AWQ de 4 bits no vLLM, numa RTX 5090, registrou 150 tokens por segundo com um pedido por vez, 1.188 com 8 pedidos juntos e 3.937 com 32. A mesma placa entregou mais de 26 vezes mais texto no total quando atendeu 32 pedidos em lote. É esse ganho que o vLLM foi feito para explorar.

O Ollama também atende pedidos em paralelo, mas com cuidado. Segundo a FAQ oficial, o padrão é processar 1 pedido por vez em cada modelo (a variável OLLAMA_NUM_PARALLEL). Ao aumentar esse número, a memória necessária cresce junto com o tamanho do contexto, e os pedidos que não cabem vão para uma fila de até 512.

Ollama, para começar e para desenvolver. Serve para um desenvolvedor testar modelos, montar uma prova de conceito ou ter um assistente no próprio computador. É a escolha de menor atrito.

llama.cpp, para hardware limitado ou variado. Faz sentido em Mac, em máquina sem placa de vídeo forte ou quando o modelo é maior que a memória da GPU e precisa usar a RAM. Junto com o llama-swap, uma ferramenta MIT que troca de modelo conforme o pedido, dá para ter vários modelos na mesma máquina sem deixar todos carregados.

vLLM, para servir a empresa. É a escolha quando o servidor tem GPU dedicada e precisa atender muitas pessoas com resposta rápida. Também tem um modo de espera que tira os pesos do modelo da GPU e guarda na RAM, liberando a placa para outra tarefa sem reiniciar o servidor.

Em outubro de 2026 fizemos um levantamento técnico de infraestrutura de IA local para um servidor com uma única RTX 5090, que precisava atender funcionários de vários setores. A recomendação foi o vLLM como servidor principal. As alternativas registradas foram o SGLang e o llama.cpp com llama-swap, que é mais simples mas menos eficiente com muitos usuários. O Ollama ficou só para desenvolvimento.

O motivo foi a conta de pessoas ao mesmo tempo. Para o modelo escolhido, o Gemma 4 26B-A4B quantizado, a nossa estimativa foi de 16 a 32 respostas sendo geradas em paralelo, o que dependeria justamente do lote contínuo e da gestão de memória do vLLM. Essa estimativa precisa ser medida com perguntas reais antes de qualquer decisão de compra, e o plano previa um teste de carga subindo de 1 a 48 usuários simultâneos.

Na frente do vLLM ficou um roteador de modelos, o LiteLLM, que dá chave e limite de gasto por setor e manda o pedido para um serviço de nuvem quando a GPU está ocupada. Como os três servidores falam a mesma língua da API da OpenAI, trocar um pelo outro depois não obriga a refazer os sistemas que usam a IA.

Dá para começar com Ollama e migrar depois? Dá. Como Ollama (compatibilidade com a OpenAI), llama.cpp e vLLM oferecem APIs no padrão OpenAI, os sistemas que conversam com o modelo mudam pouco. O que muda é a configuração do servidor.

O vLLM roda em qualquer computador? Ele foi pensado para servidores com GPU. Para Mac ou máquina sem placa forte, o llama.cpp costuma ser o caminho mais direto.

Qual é o mais rápido? Depende do cenário. Com uma pessoa usando, a diferença costuma ser pequena. Com dezenas de pessoas ao mesmo tempo, o lote contínuo faz a maior diferença, e por isso o teste precisa imitar o uso real.

A DOUVRAS Labs escolhe o servidor de modelos a partir do uso medido, não da moda: compara modelos com perguntas reais em português, roda o teste de carga, monta o roteamento com limite de gasto e conecta a IA aos documentos e sistemas da empresa. É o trabalho que oferecemos em IA local para escritórios jurídicos e contábeis, em agentes e assistentes de IA e em automação e integrações.

E na sua empresa, a IA que funciona no computador de uma pessoa já foi testada com o time inteiro usando junto?

Douglas Henrique, DOUVRAS Labs.

Ollama. Repositório oficial e FAQ (How does Ollama handle concurrent requests?). github.com e docs.ollama.com

ggml-org. llama.cpp: LLM inference in C/C++. github.com

vLLM Project. vLLM: a high-throughput and memory-efficient inference and serving engine for LLMs. github.com

Kwon, W. et al. Efficient Memory Management for Large Language Model Serving with PagedAttention. SOSP, 2023. arxiv.org

mostlygeek. llama-swap. github.com

witcheer. RTX 5090 benchmarks, relatório FP4 on consumer Blackwell. Hugging Face, 2026. huggingface.co

vLLM. Sleep Mode. docs.vllm.ai

LiteLLM. Proxy: users, budgets and rate limits. docs.litellm.ai

Quote Investigator. The Future Has Arrived, It's Just Not Evenly Distributed Yet. 2012. quoteinvestigator.com

Gibson, William. Neuromancer. Ace Books, 1984.