A Canonical anunciou o lançamento oficial do Inference Manager, uma nova ferramenta em linha de comando desenvolvida para simplificar a descoberta, o provisionamento e o consumo de modelos generativos de inteligência artificial em ambientes Ubuntu e Linux. Distribuído como um pacote estritamente confinado via Snap (inference), o projeto visa resolver a complexidade de orquestrar múltiplos runtimes e dependências de hardware ao executar LLMs localmente.

A ferramenta atua como uma camada de gerenciamento sobre os Inference Snaps da Canonical — pacotes otimizados para silício que detectam automaticamente aceleração por GPU NVIDIA, NPUs da Intel ou chips ARM (como NVIDIA Jetson). Com comandos simples como inference find, inference install e inference models, o desenvolvedor configura instâncias locais de pesos abertos sem compilar binários ou gerenciar ambientes virtuais isolados.

Inference Manager centraliza a gestão e o roteamento de modelos de linguagem no Ubuntu.

O principal diferencial da arquitetura é o serviço de segundo plano integrado: o daemon expõe um endpoint proxy local padronizado (http://localhost:8400/v1) totalmente compatível com a especificação da API da OpenAI. Isso permite que agentes de código, extensões de IDEs e aplicações web redirecionem chamadas para os modelos locais em execução sem exigir adaptações de SDK ou bibliotecas proprietárias.

O código-fonte do utilitário e a documentação técnica estão disponíveis publicamente no repositório canonical/inference no GitHub.