# TensorFold traz motor nativo de inferência de LLMs em Zig para Metal e CUDA

> Servidor de modelos de código aberto dispensa Python, oferece decodificação especulativa exata e atrai atenção para agentes locais.

Publicação: 2026-11-08T23:49:28.144Z
Página original: https://emcontexto.com.br/posts/tensorfold-motor-inferencia-llm-zig-metal-cuda

O desenvolvedor Ash Hart lançou o [TensorFold](<https://github.com/ashhart/TensorFold>), um motor de inferência de modelos de linguagem de alta performance construído em **Zig**. Projetado para servir checkpoints diretamente sem qualquer dependência do ecossistema Python ou do PyTorch em tempo de execução, a ferramenta disponibiliza binários nativos pré-compilados com aceleração direta em **Metal** (Apple Silicon), **CUDA** (NVIDIA Ampere e arquiteturas mais recentes) e **Vulkan**.

O projeto adota decodificação especulativa matematicamente exata com modelos de rascunho (*drafters*), assegurando saídas idênticas à geração serial sem desvios estatísticos. Na gestão de memória, implementa paginação dinâmica do cache de chaves e valores (*KV pool*) e decodificação contínua (*continuous batching*). O projeto também chamou a atenção de David Heinemeier Hansson (DHH) para futuras integrações de agentes locais prontos para uso em hardware NVIDIA no ecossistema Omarchy.

README do projeto TensorFold detalhando compatibilidade com endpoints OpenAI e aceleração direta em GPU. Fonte: GitHub.

### API compatível e aprendizado contínuo

Para facilitar a substituição de servidores locais como Ollama e vLLM em fluxos existentes, o comando `tensorfold serve` expõe endpoints HTTP nativamente compatíveis com as especificações de Chat Completions da OpenAI e da Anthropic. A ferramenta ainda introduz uma camada experimental de *Living Weights*, permitindo assimilar novos documentos diretamente nos pesos ativos do modelo com possibilidade de reversão dinâmica sem necessidade de fine-tuning completo.

Instruções completas de instalação via Homebrew (`brew install ashhart/tensorfold/tensorfold`) e pacotes para Linux estão documentados no [repositório oficial do TensorFold](<https://github.com/ashhart/TensorFold>).