Ollama: rode LLM local e na cloud

Ollama é uma forma prática de rodar LLMs no próprio computador e, quando o modelo não cabe na sua máquina, usar modelos em cloud com praticamente a mesma experiência de API. A decisão não é local contra nuvem: o melhor desenho costuma ser híbrido, usando local para privacidade, latência e protótipos, e cloud para modelos maiores, mais contexto e cargas que exigem mais GPU.

O que o Ollama resolve para quem desenvolve?

Antes do Ollama, rodar um modelo aberto envolvia escolher runtime, baixar pesos, converter formatos, ajustar quantização e configurar servidor HTTP. O Ollama empacotou essa parte em uma experiência direta: instalar, baixar um modelo e chamar por CLI ou API.

Em julho de 2026, o projeto está na linha v0.32.x e já deixou de ser apenas uma ferramenta de terminal. Ele virou uma camada de execução para aplicações, agentes, IDEs, automações internas e testes de produto com modelos abertos. A API local roda por padrão em http://localhost:11434/api, enquanto a API cloud usa https://ollama.com/api.

Na prática, você pode começar com um modelo pequeno no notebook, testar prompts e depois mover a mesma integração para uma máquina mais forte ou para cloud. Essa portabilidade não elimina decisões de arquitetura, mas tira o peso operacional do primeiro experimento.

ollama pull llama3.1:8b
ollama run llama3.1:8b

curl http://localhost:11434/api/generate \
  -d '{"model":"llama3.1:8b","prompt":"Explique filas em sistemas distribuídos em 5 linhas","stream":false}'

Esse exemplo cobre o básico: baixar um modelo, conversar via terminal e chamar a API HTTP. Em uma aplicação real, adicione timeout, logs, limite de tokens, retry e fallback para outro modelo.

Servidor com GPUs executando modelos de linguagem

Quando vale rodar LLM localmente?

Rodar localmente faz sentido quando os dados são sensíveis, quando a latência precisa ser previsível ou quando o custo por chamada em cloud ficaria alto para tarefas repetitivas. Um modelo de 7B ou 8B quantizado pode bastar para resumo, classificação, extração simples, rascunhos, autocomplete interno e ferramentas de desenvolvimento.

A limitação vem do hardware. Um notebook com 16 GB de RAM pode rodar modelos pequenos, mas não deve ser tratado como servidor de produção. Máquinas com Apple Silicon, GPUs NVIDIA ou servidores com VRAM dedicada entregam experiência melhor. O Ollama passou a ajustar contexto de acordo com VRAM: abaixo de 24 GiB, o padrão tende a ficar em 4k tokens; entre 24 e 48 GiB, 32k; com 48 GiB ou mais, 256k. Para agentes de código, busca em documentos ou conversas longas, 4k costuma ser pouco.

Uma regra prática para times pequenos:

1B a 3B: bom para automações simples, classificação e máquinas modestas.
7B a 12B: útil para assistentes internos, texto curto e análise técnica moderada.
27B a 70B: melhor qualidade, mas exige GPU, memória e operação cuidadosa.
100B+: geralmente entra no território de cloud, cluster ou provedor especializado.

O ponto é não romantizar o local. Privacidade não é automática só porque o modelo está no seu computador. Você ainda precisa controlar logs, arquivos enviados ao prompt, permissões, cache, histórico e integrações.

Como entra a cloud do Ollama?

A cloud do Ollama resolve o caso oposto: usar modelos maiores sem comprar GPU ou configurar infraestrutura. A ideia é manter a ergonomia do Ollama, mas descarregar a execução para o serviço cloud quando o modelo for marcado como cloud ou quando você escolher a API remota.

Isso é útil em três cenários. Primeiro, avaliação: comparar um modelo local de 8B com um modelo cloud maior antes de decidir investimento. Segundo, pico de uso: manter tarefas comuns locais e mandar casos pesados para cloud. Terceiro, times distribuídos: padronizar uma API sem depender do notebook de cada pessoa.

A diferença crítica é governança. Localmente, você controla mais o ambiente, mas assume atualização, capacidade e observabilidade. Na cloud, ganha escala e modelos maiores, mas precisa avaliar política de dados, chaves de API, custo por uso e dependência externa.

# Local
export OLLAMA_HOST=http://localhost:11434

# Cloud
export OLLAMA_HOST=https://ollama.com
export OLLAMA_API_KEY=sua_chave_aqui

Uma arquitetura limpa trata o provedor de LLM como adaptador. O domínio da aplicação não deve saber se a resposta veio de um modelo local, cloud ou de outro fornecedor. Assim você consegue trocar modelo, testar fallback e aplicar políticas diferentes por tipo de dado.

Como escolher entre local, cloud e híbrido?

Use local quando a tarefa for previsível, barata de executar no seu hardware e envolver dados que não precisam sair da máquina ou da rede interna. Use cloud quando a tarefa exigir mais qualidade, maior janela de contexto, multimodalidade avançada ou disponibilidade que seu ambiente local não garante. Use híbrido quando quiser otimizar custo e risco sem travar o produto.

Um fluxo razoável é começar local no desenvolvimento, medir qualidade com casos reais e só então decidir a execução final. Para cada caso, registre: modelo, versão, tamanho do contexto, tempo médio de resposta, custo estimado, taxa de erro aceitável e política de retenção.

Também vale separar tarefas. Uma triagem de tickets pode rodar em modelo local pequeno. Uma revisão de contrato com 80 mil tokens de contexto talvez precise de cloud. Um agente de programação pode usar local para passos simples e escalar para cloud em refatorações amplas.

O erro comum é escolher pelo benchmark mais bonito. Em sistemas reais, importam latência, custo, privacidade, recuperação de falhas, facilidade de atualizar modelos e previsibilidade da saída. Ollama ajuda porque deixa a fronteira entre local e cloud menos traumática, mas a arquitetura continua sendo responsabilidade do time.

Minha recomendação prática: trate Ollama como camada de execução e experimentação, não como estratégia inteira de IA. Ele reduz atrito, valida casos de uso e mantém opções abertas. A parte séria começa quando você define quais dados podem ir para qual modelo, como medir qualidade e como substituir uma dependência sem reescrever o produto.

Perguntas frequentes

Ollama roda sem internet?

Sim, modelos já baixados podem rodar localmente sem internet. Você ainda precisa de conexão para instalar o Ollama, baixar novos modelos ou usar modelos cloud.

Qual modelo usar no Ollama para começar?

Para testes gerais, um modelo na faixa de 7B ou 8B é um bom ponto de partida. Ele costuma equilibrar qualidade, consumo de memória e tempo de resposta em máquinas de desenvolvimento.

Ollama é melhor que usar API de IA na cloud?

Não existe melhor absoluto. Ollama local ganha em controle e privacidade; cloud ganha em capacidade, modelos maiores e escala. Em muitos produtos, o melhor desenho é híbrido.

Dá para usar Ollama em produção?

Dá, mas com cuidados de servidor: isolamento, métricas, fila, timeout, versionamento de modelo e plano de fallback. Rodar no notebook do desenvolvedor é ótimo para protótipo, não para produção séria.