No ecossistema de observability e análise de logs em larga escala, times de engenharia no Brasil enfrentam um dilema crônico: manter dados "quentes" (hot) para acesso instantâneo a um custo elevado ou arquivá-los em storage frio, sacrificando a capacidade de consulta. Por anos, essa escolha binária forçou equipes de DevOps e SRE a adotarem políticas de retenção agressivas, descartando insights valiosos de negócio e segurança simplesmente por restrições orçamentárias.
A funcionalidade Searchable Snapshots do OCI OpenSearch Service não apenas desafia essa fronteira, mas a redefine completamente sob uma ótica de FinOps e eficiência operacional.
Não estamos falando de apenas mais um tier de armazenamento. Trata-se de uma abordagem arquitetural onde dados frios permanecem no OCI Object Storage (de baixo custo), mas mantêm 100% de sua capacidade de consulta. Os segmentos de dados mais requisitados são carregados sob demanda em um cache dedicado em novos search nodes.
Este artigo analisa como repensar sua estratégia de retenção de dados, abordando:
- O valor estratégico dos Searchable Snapshots para o mercado brasileiro.
- A nova arquitetura que separa computação de consulta do armazenamento.
- Trade-offs reais de performance entre índices remotos e locais.
- Recomendações práticas de dimensionamento e otimização de custos.
O que são Searchable Snapshots?
Os Searchable Snapshots permitem montar snapshots de índices (read-only) armazenados em buckets do OCI Object Storage e consultá-los como se fossem índices ativos. Em vez de realizar um rollback ou restore completo para block storage, apenas os segmentos Lucene necessários são buscados para um file cache local nos search nodes.
- Economia com Cold Storage: Índices antigos são movidos para o OCI Object Storage por uma fração do custo do block storage.
- Transparência de Performance: As queries recuperam segmentos via cache LRU (Least Recently Used) de forma transparente para o usuário.
- Automação via ISM: Integrado a políticas de ISM (Index State Management), a transição do estado hot para cold ocorre de forma automatizada.
Essa abordagem mitiga a necessidade de manter grandes clusters de nós de dados primários, reduzindo drasticamente os gastos com computação e storage de alto desempenho.
Entendendo a Nova Arquitetura Conceitual
A implementação de Searchable Snapshots no OCI representa uma mudança na topologia do cluster, separando o processamento de ingestão (dados quentes) da computação para consultas históricas (dados frios). A arquitetura sustenta-se em três pilares:
- Search Nodes Dedicados: Provisionamento de nós específicos para lidar com a carga de consulta de dados remotos, cada um com seu volume de bloco servindo como cache local.
- Repositório em Object Storage: Conexão com repositórios de baixo custo, utilizando Resource Principal para autenticação segura entre o serviço OpenSearch e o Object Storage.
- Ciclo de Vida Automatizado: Através do ISM, define-se a transição: por exemplo, um índice com mais de 90 dias é automaticamente transformado em um snapshot e convertido em um índice "remoto".
Comparativo de Performance: Índices Remotos vs. Locais
A adoção de searchable snapshots introduz um trade-off lógico em troca de economia massiva. Benchmarks comparativos revelam insights cruciais para a tomada de decisão:
- Cold Starts vs. Warm Caches: Na primeira consulta (run frio), um índice remoto apresenta picos de latência enquanto faz o streaming dos segmentos do Object Storage. Contudo, uma vez que o cache está "quente", as latências se aproximam muito das de índices locais.
- Carga Concorrente: Sob carga pesada, a diferença de throughput entre índices locais e remotos fica entre 10% a 15% (sustentando ~85-90% da performance original).
- Alívio de CPU nos Data Nodes: Um ponto vital para engenheiros brasileiros: a utilização de CPU nos data nodes cai significativamente, pois os search nodes absorvem a carga de query, liberando os data nodes para focar exclusivamente no throughput de ingestão.
Benefícios Estratégicos e Operacionais
- Redução de Custo de Storage: As taxas do OCI Object Storage são tipicamente de 60% a 80% menores que as de block storage.
- Eficiência Computacional: Especialização de nós (ingestão vs. consulta histórica).
- Automação: Redução de tarefas manuais de snapshot e deleção rotineira.
Além dos Benchmarks: Uma Mudança de Mentalidade
O verdadeiro valor não está apenas no gráfico de performance, mas na mudança estratégica. Como editores e consultores, vemos empresas descartando dados de 30 ou 60 dias para conter custos. Com Searchable Snapshots, o custo de manter anos de dados para auditorias, machine learning ou análise de tendências torna-se marginal.
Do Planejamento à Prática
Para um rollout seguro em ambientes de produção, recomendamos:
- Auditoria de Padrões de Acesso: Identifique quais índices são acessados apenas para relatórios esporádicos ou auditorias. Estes são os candidatos ideais.
- Redefinição de Hot vs. Warm: Dados de 15 a 90 dias, que precisam estar disponíveis mas não exigem latência de milissegundos constantes, encontram aqui seu "sweet spot".
- Dimensionamento do Cluster: Recomendamos dedicar entre 20% a 40% da capacidade dos seus data nodes para os novos search nodes como baseline inicial.
Conclusão
O Searchable Snapshot do OCI OpenSearch é um divisor de águas operacional. Ele permite que empresas brasileiras construam plataformas de análise de longo prazo sem a penalidade financeira do armazenamento tradicional. Ao separar computação de armazenamento, você para de deletar dados e começa a gerar inteligência de negócio.
Artigo originalmente publicado por Seung Yeon Joo em cloud-infrastructure.
