TL;DR: Este artigo analisa as inovações do Dataflow Gen2 e Power Query anunciadas no Microsoft Build, com destaque para a integração de Mapping Data Flows com execução Spark, o recurso My Queries para reuso de lógica e a modernização da experiência Get Data no Power BI Desktop. A conclusão principal: essas capacidades permitem que equipes brasileiras avancem da preparação de dados low-code para cenários de alta escala sem trocar de ferramenta, facilitando a migração de investimentos existentes em Azure Data Factory e Synapse para o Microsoft Fabric.
A Microsoft aproveitou o palco do Build 2025 para lançar uma série de novidades no ecossistema Dataflow Gen2 e Power Query que merecem atenção de qualquer time de dados no Brasil. A proposta é clara: oferecer um caminho low-code para transformação de dados que escala sem exigir reescrita de pipelines — algo particularmente relevante para empresas brasileiras que lidam com volumes crescentes de dados e equipes enxutas.
Como o Run Mapping Data Flow transforms muda o jogo da transformação de dados?
A principal novidade é o Run Mapping Data Flow transforms em Dataflow Gen2 (Preview - disponível logo após o Build). Tradicionalmente, o Dataflow Gen2 usava o motor Power Query (linguagem M) para transformações passo a passo. Agora, a Microsoft integra as capacidades comprovadas de transformação baseadas em Spark que antes existiam apenas no Azure Data Factory e Azure Synapse — diretamente dentro do Fabric.
Isso significa que um analista pode construir lógica sofisticada de forma visual, sem código, e executá-la no Spark quando o volume de dados cresce. Para times brasileiros que já investiram em ADF ou Synapse, a curva de aprendizado é mínima: a experiência visual é intencionalmente alinhada com Mapping Data Flows, usando os mesmos padrões e conceitos.
Figure: Dataflow Gen2 Spark Transformation screenshot (authoring UX)
Por que isso importa para empresas brasileiras?
- Escala sem complexidade: monte transformações avançadas visualmente e execute no Spark quando os dados crescerem. Ideal para empresas que começam com datasets pequenos e escalam rapidamente.
- Performance previsível: a execução Spark otimiza workloads pesados, algo crítico em cenários de batch com grandes volumes de dados transacionais ou de sensores.
- Unificação no Fabric: você mantém ingestão, transformação, orquestração e monitoramento em uma única experiência — reduzindo a fragmentação de ferramentas.
- Modernização sem retrabalho: migre Mapping Data Flows do ADF/Synapse para o Fabric com alterações mínimas.
Cenários comuns onde a novidade brilha
- Preparação de dados em grande escala para analytics: padronizar, enriquecer e remodelar dados brutos em tabelas curadas.
- Lógica complexa de transformação: joins avançados, splits condicionais, agregações e modelagem de schemas.
- Integração empresarial: ativos de transformação reutilizáveis que podem ser orquestrados como parte de pipelines maiores.
- Migração de ADF e Synapse: trazer investimentos existentes para o Fabric.
Um caminho mais suave para modernização
Muitas organizações brasileiras construíram ativos significativos em Mapping Data Flows no ADF ou Synapse. Com o Run Mapping Data Flow transforms, o Fabric oferece uma rota clara para modernizar esses investimentos: traga a lógica existente com mínimo retrabalho, aproveite o OneLake como camada unificada de dados e beneficie-se de uma experiência integrada. Como a autoria é consistente, a migração exige menos treinamento.
Figure: Migration Assistant UX with an MDF being migrated
Como o My Queries resolve o problema de reuso no Power Query?
Um desafio que afeta muitos times de dados no Brasil é a duplicação de lógica de transformação entre projetos. Analistas frequentemente recriam os mesmos padrões de query em diferentes dataflows — o que retarda o desenvolvimento e dificulta a padronização.
O My Queries em Dataflow Gen2 (Preview) começa a endereçar isso: criadores podem salvar queries de uso comum e importá-las em outros artefatos Dataflow Gen2. Na versão atual, o reuso é individual, mas a Microsoft já sinaliza expansão futura para cenários em nível de workspace e multiusuário.
Figure: This view lists all the queries that you've saved to My queries. Select any query to import its script as-is.
A experiência Modern Power Query Get Data chega ao Power BI Desktop
Além do Dataflow Gen2, o Build marca a disponibilidade da Modern Power Query Get Data experience no Power BI Desktop (Preview). Trata-se de um fluxo de conexão redesenhado, com navegação simplificada, melhor descoberta de fontes e alinhamento com as experiências modernas já usadas em outras superfícies do ecossistema Power Query.
Isso facilita a transição de usuários entre Desktop, web e Fabric — um ganho de produtividade para analistas que trabalham em múltiplas ferramentas. A Microsoft planeja expandir essa modernização para o Editor Power Query completo ainda este ano.
Figure: Modern Power Query Get Data experience
O que isso significa na prática?
Juntas, essas novidades reforçam o investimento contínuo da Microsoft em tornar o Dataflow Gen2 e o Power Query mais escaláveis, reutilizáveis e performáticos. Para empresas brasileiras, o cenário é positivo: a barreira de entrada para transformação de dados em larga escala diminui, e a porta de saída do ADF/Synapse para o Fabric fica mais clara.
Recomenda-se que times de engenharia e governança de dados avaliem as novas capacidades em ambientes de teste, especialmente:
- Se você já utiliza Mapping Data Flows e busca modernizar sem recriar tudo.
- Se a duplicação de queries é um gargalo na sua equipe de analytics.
- Se o volume de dados está crescendo e o motor M tradicional já não entrega performance adequada.
Perguntas Frequentes
-
Como o Run Mapping Data Flow transforms difere do Dataflow Gen2 tradicional?
O Dataflow Gen2 tradicional usa o mecanismo Power Query (M), ideal para volumes moderados. O Run Mapping Data Flow transforms adiciona uma camada de execução baseada em Spark, permitindo aplicar transformações complexas (joins avançados, splits condicionais, agregações) em grandes volumes com performance previsível, tudo dentro do mesmo ambiente visual e low-code. -
O My Queries em Dataflow Gen2 funciona entre workspaces?
Na versão Preview atual, o My Queries permite que criadores individuais salvem queries comuns e as reutilizem em outros artefatos Dataflow Gen2. O roadmap prevê expansão para cenários de reuso em nível de workspace e multiusuário, mas hoje o escopo é individual. -
Preciso recriar todo o pipeline do Azure Data Factory para usar no Fabric?
Não. O Run Mapping Data Flow transforms foi desenhado com alinhamento intencional à experiência de Mapping Data Flows do ADF e Synapse. Isso significa que a lógica de transformação existente pode ser migrada com mínimo retrabalho, aproveitando o mesmo padrão visual e conceitos de transformação. -
A experiência Modern Power Query Get Data é compatível com todos os conectores existentes?
Sim, a nova experiência redesenhada mantém compatibilidade com os conectores já suportados pelo Power Query. Ela oferece navegação simplificada e descoberta melhorada, alinhando-se à experiência moderna usada em outras superfícies do ecossistema Power Query. -
Quais ganhos de performance posso esperar para grandes volumes de dados?
Ao executar transformações no Spark em vez do mecanismo M tradicional, o Dataflow Gen2 passa a processar datasets maiores com paralelismo distribuído, resultando em escalabilidade mais previsível e redução de tempo de processamento em workloads pesados de preparação de dados.
Artigo originalmente publicado por (autor não identificado) em Azure Updates - Latest from Azure Charts.
