O cenário de workloads de inteligência artificial está passando por uma mudança de paradigma. O que antes era restrito a jobs de treinamento batch em larga escala, agora evoluiu para serviços de inferência complexos e agentes autônomos. De acordo com o último levantamento da CNCF, o Kubernetes tornou-se o sistema central para integrar essas operações. Para times de engenharia no Brasil, isso significa que a infraestrutura precisa deixar de ser apenas um executor de batches e se tornar uma plataforma capaz de lidar com a dinamicidade da IA.
Essa transição traz desafios técnicos críticos:
- Complexidade na Inferência: O consumo de recursos de GPU em modelos de linguagem (LLMs) exige um controle rigoroso de latency e custos de infraestrutura.
- Exigências de Agentes: O comportamento de tráfego de agentes de IA — caracterizado por picos de demanda e necessidade de state preservation — expõe as limitações dos schedulers nativos do Kubernetes.
O ecossistema Volcano está reagindo a esses gaps com a introdução do Volcano v1.14, Kthena v0.3.0 e a nova solução AgentCube.
1. Volcano v1.14: Escalabilidade para a Nova Era
A arquitetura do Volcano v1.14 foi redesenhada para suportar clusters heterogêneos e densidade de tarefas elevadas, focando em performance sem abrir mão da eficiência operacional.
Arquitetura Multi-Scheduler Escalonável
O novo Sharding Controller permite que a infraestrutura divida dinamicamente pools de recursos entre diferentes schedulers (batch, agentes, inferência). Isso otimiza o uso da nuvem, permitindo que tarefas críticas de inferência rodem simultaneamente a jobs pesados de treinamento sem competição desleal de CPU/GPU ou, pior, gargalos de rede.
Otimização para Agentes
Um dos pontos altos desta versão é o Agent Scheduler (Alpha), um novo "fast path" desenhado para processar o alto volume de requisições de curta duração típico dos agentes, reduzindo significativamente a latência de scheduling.
2. Kthena v0.3.0: Eficiência no Serving de LLMs
O Kthena foca no custo-benefício do data plane e control plane para modelos de grande porte. A grande dor de cabeça aqui é a disagregação das fases de "Prefill" e "Decode" em LLMs, que gera tráfego cross-node massivo.
- Network Topology Awareness: Kthena otimiza a co-localização de tarefas para dentro do mesmo switch, utilizando um Smart Router para rotear KV-Cache e LoRA adapters com performance superior.
- ModelBooster: Esta funcionalidade simplifica a declaração de modelos, automatizando o lifecycle de recursos (declarative approach) e reduzindo o tempo de setup para os times que operam com várias versões de LLMs.
3. AgentCube: Infraestrutura Serverless para IA
A ausência de primitivas nativas no Kubernetes para o lifecycle de agentes de IA é preenchida pelo AgentCube, que introduz conceitos de "warm pools" e gerenciamento de sessões.
O uso de MicroVMs dentro de um Warm Pool permite que o cold start seja reduzido de segundos para milissegundos, sendo essencial para manter uma experiência de frontend responsiva. Além disso, o AgentCube abstrai o gerenciamento de state para que desenvolvedores não precisem lidar com o estado entre interações em um ambiente Kubernetes que, por natureza, é stateless.
Considerações Finais
A evolução do Volcano para uma plataforma AI-Native é uma resposta direta à necessidade de previsibilidade e performance que as empresas brasileiras demandam ao adotar IA de ponta a ponta. A capacidade de unir batch processing com inferência em tempo real e orquestração de agentes dentro do mesmo cluster não é mais um luxo, mas uma necessidade de arquitetura para quem busca escalabilidade com eficiência de custos.
Artigo originalmente publicado por The Volcano Community em Cloud Native Computing Foundation.
