A movimentação de dados entre nuvens, um pilar fundamental em arquiteturas multi-cloud, acaba de ganhar um nível de abstração superior no Microsoft Fabric. O 'Copy job' no Data Factory consolidou-se como a ferramenta padrão para fluxos de replicação, e as novas capacidades de Change Data Capture (CDC) e SCD Type 2 removem gargalos de engenharia que, até então, exigiam código customizado.
O desafio do CDC e o custo da complexidade
O CDC é a espinha dorsal de qualquer cenário que exige latência reduzida entre sistemas operacionais (ERP, CRM, sistemas legados) e ambientes analíticos. Historicamente, tratar deletes, updates e o versionamento do histórico exigia pipelines complexos, manutenção de código em Spark ou SQL e um esforço considerável no tratamento de exceções. Para empresas no Brasil, que operam sob regulações estritas de governança e auditoria, a automação dessa lógica não é apenas uma conveniência — é um requisito de eficiência operacional.
As novas atualizações no Fabric Data Factory trazem:
- Oracle CDC Source: Captura direta de alterações em bancos legados.
- Fabric Data Warehouse Sink: Integração nativa com o motor de análise SQL gerenciado.
- SCD Type 2 automatizado: Gestão histórica sem necessidade de desenvolvimento customizado.
A relevância do SCD Type 2 em cenários de negócio
O conceito de Slowly Changing Dimension (SCD) Type 2 permite preservar o estado do dado conforme ele evolui. Se um cliente altera seu endereço, o SCD Type 2 garante que seus transações passadas continuem vinculadas ao dado da época, enquanto o novo estado é versionado para o futuro. O suporte nativo integrado ao 'Copy job' resolve um problema clássico de ineficiência, onde engenheiros de dados precisam gastar horas escrevendo lógica de MERGE para tratar ValidFrom, ValidTo e IsCurrent.
Comparativo: O Fim do "Code-Heavy" para replicação
A tabela abaixo ilustra a diferença drástica entre a abordagem tradicional (baseada em código) e a nova funcionalidade no ecossistema Fabric:
| Aspecto | Abordagem Baseada em Código | Copy job (No-Code) |
|---|---|---|
| Setup | Dias (bibliotecas, custom, testes) | Minutos (toggle no UI) |
| SCD Type 2 | Desenvolvido manualmente | Nativo, configurado com um clique |
| Deletes | Lógica ad-hoc para soft deletes | Suporte integrado e consistente |
| Maintenance | Alta (upgrade de libs, bugs) | Zero (Gerenciado pelo Fabric) |
Perspectiva Estratégica para o mercado brasileiro
Para gestores de TI, a mudança é clara: o custo de oportunidade de manter frameworks próprios de orquestração de dados deve ser reavaliado. A migração de fluxos herdados do Azure Data Factory (ADF) para o Fabric, especialmente para cenários que exigem governança de dados históricos, torna-se agora uma escolha de eficiência técnica e redução de TCO (Total Cost of Ownership).
Enquanto o ADF exige a montagem manual de 'Mapping Data Flows' — com 'conditional splits' e 'derived columns' para simular um comportamento de SCD Type 2 — o Fabric simplifica todo o ciclo de vida. Para times focados em FinOps e eficiência, isso representa um ganho direto na produtividade do time de engenharia, que deixa de manter infraestrutura de movimentação para focar na camada de valor (análise e, eventualmente, IA).
Artigo originalmente publicado em Azure Updates - Latest from Azure Charts.
