TL;DR: O Copy job do Microsoft Fabric Data Factory agora oferece suporte geral (GA) a Change Data Capture (CDC) para todo o ecossistema SQL (SQL Server, Azure SQL, SAP Datasphere, etc.), permitindo replicação incremental e em tempo real sem código. Além disso, o suporte a SCD Type 2 foi estendido para Fabric Warehouse e Synapse SQL Pool, garantindo histórico completo de alterações. Para empresas brasileiras, isso reduz complexidade operacional e riscos de dados dessincronizados em ambientes analíticos.
O Copy job é a solução nativa do Microsoft Fabric Data Factory para movimentação de dados entre múltiplos clouds e tenants. Com suporte a cópia em massa, cópia incremental e replicação via Change Data Capture (CDC), ele cobre diversos cenários com uma experiência intuitiva e sem código. Agora, com a disponibilidade geral (GA) do CDC para o ecossistema SQL, a Microsoft consolida uma ferramenta crítica para empresas que dependem de dados atualizados em tempo real.
O que muda com o CDC para SQL estate em GA?
Antes em preview, o CDC para SQL estate agora está geralmente disponível, abrangendo conectores de origem e destino robustos:
Conectores de origem (GA):
- SQL Server
- Azure SQL Database
- Azure SQL Managed Instance
- SAP Datasphere
Conectores de destino (GA):
- SQL Server
- Azure SQL Database
- Azure SQL Managed Instance
- Fabric SQL
- Snowflake
Além disso, novos conectores em preview público ampliam o alcance: Google BigQuery, Fabric Lakehouse table, Snowflake e Oracle como origem; e Snowflake, SQL database in Fabric e Fabric Data Warehouse como destino. A Microsoft está progressivamente movendo esses conectores de preview para GA, o que indica um roadmap claro de maturidade.
Para o engenheiro de dados brasileiro, o impacto prático é imediato: cenários como sincronização de um SQL Server on-premises com o Azure Synapse ou replicação de um SAP Datasphere para o Snowflake podem ser configurados em minutos, com configuração simplificada e performance empresarial – tudo sem código. Isso reduz drasticamente o custo de manutenção de pipelines manuais e diminui a latência entre sistemas operacionais e analíticos.
Como o SCD Type 2 estendido ajuda na preservação de histórico?
A Microsoft também anunciou a extensão do suporte nativo a SCD Type 2 (Slowly Changing Dimension Type 2) para Fabric Warehouse e Synapse SQL Pool. Esse recurso, já disponível para outros destinos, permite preservar o histórico completo de alterações com data efetiva e tratamento de soft delete.
Na prática, quando um registro é removido na origem, a linha correspondente no destino é marcada como inativa em vez de ser fisicamente deletada. O resultado é uma visão completa e auditável do ciclo de vida dos dados – incluindo registros que já não existem mais no sistema de origem. Para empresas brasileiras sujeitas a regulamentações como LGPD ou que precisam de trilhas de auditoria robustas, esse recurso é um diferencial competitivo.
Próximos passos: o que fazer com essas novidades?
Com o CDC GA para SQL estate e o SCD Type 2 estendido, o Copy job se torna uma peça central para estratégias de replicação de dados na nuvem. A recomendação para times de engenharia no Brasil é:
- Avaliar a substituição de ferramentas de ETL legadas por pipelines nativos do Fabric.
- Testar o CDC em workloads críticos de SQL Server ou Azure SQL.
- Implementar SCD Type 2 para tabelas dimensionais que exigem histórico completo, aproveitando o tratamento automático de soft delete.
A Microsoft convida a comunidade a testar e fornecer feedback, o que reforça o compromisso com a evolução contínua da plataforma.
Perguntas Frequentes
O CDC no Copy job suporta replicação em tempo real?
Sim, o Change Data Capture (CDC) permite replicação contínua de mudanças (inserts, updates, deletes) com baixa latência, ideal para cenários de near-real-time analytics.
Quais bancos de dados SQL são suportados como origem no GA?
SQL Server, Azure SQL Database, Azure SQL Managed Instance e SAP Datasphere estão em GA como conectores de origem. Outros como Oracle e Google BigQuery estão em preview.
O SCD Type 2 funciona apenas para Fabric Warehouse?
Não, o suporte a SCD Type 2 foi estendido para Fabric Warehouse e Synapse SQL Pool, mas já estava disponível para outros destinos. Agora cobre um leque maior de ambientes.
Preciso escrever código para usar CDC ou SCD Type 2 no Copy job?
Não. O Copy job oferece uma experiência visual e sem código, com configuração simplificada para replicação e transformação incremental. Ideal para times que buscam produtividade sem abrir mão de controle.
Como o CDC impacta custos de cloud?
O CDC reduz a necessidade de pipelines complexos e carregamentos completos (full loads), otimizando o throughput e o consumo de recursos. Para uma análise detalhada de custos, consulte especialistas em FinOps.
Artigo originalmente publicado por Ye Xu em Azure Updates - Latest from Azure Charts.
