TL;DR: A Microsoft liberou interoperabilidade bidirecional entre Azure Databricks e OneLake, permitindo que tabelas gerenciadas pelo Unity Catalog sejam armazenadas nativamente no OneLake. Isso elimina a necessidade de duplicar dados entre plataformas, reduz custos de storage e complexidade operacional. Para empresas brasileiras que já usam ou avaliam Databricks e Fabric, o movimento sinaliza um passo concreto rumo ao data lake único e governado — desde que a estratégia de governança e os custos de egress estejam bem desenhados.
À medida que organizações escalam seus investimentos em dados e IA, muitas adotam uma abordagem multi-platform, permitindo que times usem as ferramentas mais adequadas para cada projeto. Mas essa flexibilidade tem um custo: dados duplicados, governança fragmentada e pipelines complexos de movimentação entre sistemas.
A próxima fase das plataformas de dados não é apenas conectar sistemas — é compartilhar uma base de dados comum e, cada vez mais, uma fundação de contexto. Em vez de alinhar em um único engine, as organizações podem alinhar em uma única cópia de dados, enquanto permitem que os times usem as ferramentas que preferem.
Com as atualizações recentes, Microsoft Fabric e Azure Databricks dão um passo significativo nessa direção, permitindo que você use o Microsoft OneLake como uma camada de dados compartilhada que ambas as plataformas podem ler e armazenar de forma nativa. Isso significa que clientes Azure Databricks podem usar o OneLake como opção nativa de storage, garantindo que os dados vivam em um único lugar, com uma única cópia, mas acessíveis por qualquer plataforma ou engine.
Como funciona a interoperabilidade bidirecional entre Azure Databricks e OneLake?
Com essas atualizações, Azure Databricks e Microsoft Fabric habilitam verdadeira interoperabilidade bidirecional através do OneLake. Os clientes agora podem ler e armazenar os mesmos dados de qualquer plataforma, sem duplicação ou pipelines complexos.
- Agora em beta: Azure Databricks pode armazenar tabelas gerenciadas pelo Unity Catalog nativamente no OneLake.
- Agora em GA (geralmente disponível): Azure Databricks pode ler dados armazenados no OneLake.
Com suporte para leitura e escrita direta no OneLake, clientes Azure Databricks podem usar o OneLake como camada de storage nativa para suas tabelas Delta, sem gerenciar sistemas de armazenamento separados. Isso permite armazenar dados no OneLake enquanto utiliza Fabric ou Azure Databricks para cada projeto.
Por haver uma única cópia de dados, alterações feitas em um ambiente são imediatamente refletidas no outro. Isso elimina a necessidade de movimentação de dados, reduz duplicação e simplifica a gestão do data estate.
Por que isso é relevante para empresas brasileiras?
No Brasil, onde a otimização de custos em cloud é uma preocupação constante — especialmente com a variação cambial e os custos de egress entre regiões —, eliminar a duplicação de dados representa economia direta. Empresas que operam com ambientes multi-cloud ou híbridos encontram no OneLake uma oportunidade de consolidar o data lake sem abrir mão da flexibilidade de engines como Databricks e Fabric.
Além disso, a integração nativa reduz a complexidade operacional para times de dados que precisam manter pipelines de replicação entre plataformas. Para gestores de TI, isso significa menos custos de engenharia e menor risco de inconsistências.
Construindo uma estratégia de IA eficaz com Azure Databricks e OneLake
Para clientes Azure Databricks, essa nova interoperabilidade significa usar o OneLake como o store nativo para seus dados. Mas por que isso importa?
À medida que as organizações migram de aplicações tradicionais para sistemas multi-agente alimentados por IA, a vantagem está se deslocando além do modelo específico que você implanta. Agora, a vantagem está na inteligência e no contexto que permitem que os agentes entendam como seu negócio funciona, o estado atual do seu negócio e seu conhecimento institucional para agir de forma significativa.
Esse é o desafio que o OneLake foi projetado para resolver. O OneLake é um data lake único e multi-cloud para alimentar todos os seus projetos de IA. Ele suporta times de IA em cada uma das quatro etapas críticas de preparação de dados para IA:
- Unificar seu data estate
- Processar dados
- Curar significado semântico
- Capacitar agentes de IA a agir
Unificando o data estate com shortcuts e mirroring no OneLake
Com o OneLake, você pode acessar todo o seu data estate multi-cloud a partir de um único data lake que abrange toda a organização. Ele conecta dados entre clouds e sistemas on-premises usando shortcuts zero-copy e zero-ETL, além de mirroring. Seja seus dados no Azure, AWS, Google Cloud, SQL Server on-premises, SAP, Dataverse, Snowflake ou Databricks, você pode conectá-los rapidamente sem mover ou duplicar.
Uma vez conectados ao OneLake, os dados se tornam facilmente descobertos através do OneLake Catalog, onde os ativos de dados são listados junto com metadados de governança e segurança. O catálogo está integrado a ferramentas que seus times já usam — como Power BI, Microsoft Teams, Excel, Copilot Studio e Microsoft Foundry.
Processamento de dados com escolha de plataforma
Agentes de IA são tão confiáveis quanto os dados que você os alimenta. Antes que dados corporativos possam treinar ou fundamentar um agente, eles geralmente precisam ser limpos, curados e validados.
Com suporte nativo aos formatos Delta Lake e Iceberg, o OneLake funciona perfeitamente com qualquer engine de analytics no Microsoft Fabric, Azure Databricks ou mesmo Snowflake. Conforme seus dados passam por pipelines, notebooks, warehouses ou streaming jobs em qualquer plataforma, eles permanecem no OneLake como uma única cópia — governada, descoberta e continuamente disponível.
Curando significado semântico com Microsoft IQ
Uma vez que os dados estão preparados, o próximo desafio é torná-los compreensíveis. Muitas organizações carecem de uma camada compartilhada de contexto de negócio, forçando cada agente a reaprender como o negócio funciona a partir de dados fragmentados. O Fabric IQ aborda essa lacuna.
Com dados unificados no OneLake, os modelos semânticos do Power BI fornecem representações estruturadas dos seus dados para business intelligence confiável. Ontologias no Fabric IQ estendem modelos semânticos adicionando contexto operacional: definem entidades de negócio, relacionamentos, propriedades, regras e ações, e conectam-se a sinais ao vivo do Fabric Real-Time Intelligence.
Perguntas Frequentes
-
O que muda na prática com a interoperabilidade bidirecional entre Azure Databricks e OneLake?
A principal mudança é que tabelas gerenciadas pelo Unity Catalog do Databricks podem ser armazenadas diretamente no OneLake, sem depender de um storage externo. Isso elimina a duplicação de dados e pipelines de movimentação entre as plataformas. Alterações feitas em um ambiente são refletidas instantaneamente no outro, simplificando a arquitetura e reduzindo custos. -
Essa integração funciona para leitura e escrita nos dois lados?
Sim. A capacidade de leitura já está em GA (geralmente disponível), enquanto a escrita de tabelas gerenciadas no OneLake está em beta. Com ambas, é possível ler e armazenar dados do Databricks ou do Fabric usando uma única cópia, sem necessidade de movimento ou replicação. -
Como fica a governança de dados com essa arquitetura unificada?
O OneLake fornece governança integrada por meio do OneLake Catalog, que expõe metadados, linhagem e políticas de segurança. Como os dados ficam em uma única cópia, as regras de acesso e compliance são aplicadas uma vez e valem para ambas as plataformas, reduzindo riscos de inconsistência. -
Isso significa que posso abandonar meu data lake atual no Databricks?
Não necessariamente. A proposta é usar o OneLake como camada de armazenamento compartilhada, mas a decisão depende do seu cenário. Se você já possui investimentos em um data lake próprio, vale avaliar custos de migração e latência. A integração é um caminho para consolidar, não uma obrigação de migração imediata.
Artigo originalmente publicado em Azure Updates - Latest from Azure Charts.
