O ecossistema do Microsoft Fabric tem evoluído rapidamente para unificar a gestão de dados em ambientes multi-cloud. Recentemente, a Microsoft trouxe melhorias significativas ao Copy job no Fabric Data Factory, focadas na flexibilidade dos padrões de incremental copy. Para engenheiros de dados e arquitetos focados em eficiência, estas mudanças resolvem dores recorrentes na integração com bancos de dados heterogêneos.
Historicamente, o incremental copy dependia de colunas datetime ou INT estritamente padronizadas para funcionar como watermark. Na prática, as equipes brasileiras de engenharia frequentemente lidam com sistemas legados ou pipelines de terceiros que não seguem esse padrão, forçando a criação de pipelines complexos ou scripts customizados para contornar a limitação. A Geração Disponível (GA) destes novos tipos de coluna remove essa fricção.
O que muda na prática
A partir de agora, o Copy job passa a suportar nativamente três novos tipos de watermark columns:
- ROWVERSION: Essencial para sistemas SQL que utilizam este tipo de dado para rastrear mudanças binárias. É a forma mais robusta de garantir que nenhuma alteração (insert ou update) seja perdida em sistemas de alta transação, sem a necessidade de depender de timestamps controlados pela aplicação.
- Date: Simplifica a configuração para colunas baseadas em datas de alteração comuns, como
LastUpdatedDateouModifiedAt. O Fabric assume o gerenciamento automático do checkpoint e das janelas incrementais, reduzindo o risco de data loss ou sobreposição de dados (overlap). - String (interpretado como datetime): Talvez a adição mais pragmática. Muitos sistemas legados ou exportações de arquivos armazenam datas como strings. Até então, era necessário transformar esses dados antes da ingestão. Agora, o Copy job interpreta o formato diretamente, eliminando a necessidade de remodelar o esquema da fonte.
Impacto estratégico para empresas brasileiras
Para empresas que dependem de tecnologia para escalar — especialmente aquelas operando em cenários de multi-cloud ou migração de legados para o Lakehouse — essas atualizações representam uma redução direta no débito técnico. Ao permitir que a ferramenta de orquestração gerencie o estado e as janelas incrementais (usando tipos como ROWVERSION), reduzimos drasticamente o tempo de desenvolvimento de pipelines e, consequentemente, o custo de manutenção operacional (opex).
Além disso, a padronização das semânticas de exactly-once mantidas pelo Copy job garante que a integridade dos dados na camada de landing seja mantida com esforço mínimo, um requisito crítico para times que buscam maturidade em governança de dados. A recomendação é revisar as fontes de ingestão atuais que hoje passam por processos de transformação desnecessários e avaliar a simplificação via Copy job.
Artigo originalmente publicado em Azure Updates - Latest from Azure Charts.
