Nova sincronização de metadados e mais no SQL Analytics Endpoint (Preview)
TL;DR: O SQL Analytics Endpoint do Microsoft Fabric ganhou duas novidades em preview: uma nova sincronização de metadados que reduz a latência de consulta de minutos para segundos e suporte a time travel. A conclusão é que essas mudanças eliminam gargalos históricos de frescor de dados e facilitam auditorias, mas exigem atenção à configuração do workspace e ao período de retenção definido no lakehouse.
Todo lakehouse e banco de dados espelhado no Microsoft Fabric vem automaticamente com um SQL Analytics Endpoint. Ele fornece uma superfície T-SQL familiar sobre as tabelas Delta do lakehouse, permitindo que ferramentas de reporting, stored procedures e consultas ad-hoc funcionem sem adaptações. É a ponte que transforma dados armazenados no OneLake em dados imediatamente consultáveis por qualquer profissional que fale SQL.
Duas atualizações acabam de entrar em preview, cada uma endereçando desafios reais de frescor de dados e capacidades avançadas no SQL Analytics Endpoint. Juntas, elas expandem o que se pode esperar do endpoint em termos de latência, escala e tipos de análise suportados.
Historicamente, disponibilizar dados recém-ingestados no lakehouse para consulta tem sido um dos pontos mais críticos da experiência do usuário. Em resposta a feedback de clientes, a nova sincronização de metadados agora está disponível em preview.
O que muda na sincronização de metadados?
- Uma arquitetura completamente nova focada em parsing dos logs Delta para garantir que os dados fiquem disponíveis para consulta com atraso mínimo.
- Processos em background otimizados que desacoplam as mudanças de dados das mudanças de esquema, garantindo disponibilidade mais fluida para diferentes cenários.
- Refresh das tabelas sob demanda (on-query), permitindo leitura dos dados pelo SQL Analytics Endpoint em tempo quase real.
Combinadas, essas melhorias devem garantir que os dados estejam disponíveis para consulta em segundos — não minutos — assim que chegam ao lakehouse.
Figure: Animated GIF - Workspace setting to enable the new metadata sync.
Para mais detalhes sobre como habilitar essa funcionalidade no seu workspace, consulte a documentação oficial da Microsoft.
Time travel no SQL Analytics Endpoint
Time travel, um dos recursos mais úteis em data warehouse, também está disponível em preview para o SQL Analytics Endpoint. Essa capacidade suporta cenários comuns enfrentados por equipes de dados no dia a dia: validar números históricos em auditorias, investigar mudanças inesperadas em relatórios downstream ou comparar métricas em diferentes momentos no tempo.
Com time travel, você pode consultar seus dados como se eles existissem em qualquer ponto dentro do período de retenção configurado no lakehouse, sem precisar criar cópias ou manter datasets históricos separados.
Figure: Illustration of time travel in SQL analytics endpoint.
Como começar?
Ambas as funcionalidades estão sendo lançadas em preview junto com a nova sincronização de metadados. A Microsoft convida usuários a compartilhar feedback através da Fabric Community ou do time de conta.
Recursos adicionais:
- SQL Analytics Endpoint overview
- Data types in Fabric Datawarehouse
- Time travel in Fabric Datawarehouse
Perguntas Frequentes
Como habilitar a nova sincronização de metadados no SQL Analytics Endpoint?
A nova sincronização está disponível em preview e deve ser ativada por workspace nas configurações do Microsoft Fabric. Consulte a documentação oficial da Microsoft para o passo a passo de habilitação, pois o recurso ainda não está ligado por padrão.
O que significa time travel no contexto do SQL Analytics Endpoint?
Time travel permite consultar os dados como eles existiam em qualquer ponto dentro do período de retenção configurado no lakehouse, sem precisar criar cópias ou manter datasets históricos separados. É útil para auditorias, investigação de mudanças em relatórios e comparação de métricas ao longo do tempo.
Essas novidades afetam a performance de consultas existentes?
Sim, positivamente. A nova arquitetura de sincronização desacopla mudanças de dados de mudanças de esquema e faz refresh sob demanda, o que reduz drasticamente o tempo entre a chegada dos dados no lakehouse e sua disponibilidade para consulta via T-SQL. Para workloads que exigem dados near real-time, o ganho é significativo.
Preciso recriar meus lakehouses ou views para usar time travel?
Não. O time travel funciona automaticamente para qualquer tabela Delta no lakehouse, respeitando o período de retenção já configurado. Não é necessário recriar objetos ou alterar pipelines existentes. Apenas certifique-se de que a retenção está ajustada às necessidades de auditoria da sua empresa.
Artigo originalmente publicado em Azure Updates - Latest from Azure Charts.
