TL;DR: A Microsoft expandiu o auto-partitioning do Copy job para Oracle, SAP HANA e Lakehouse Tables (Preview), liberou edição via JSON (GA) e permitiu alternar entre modos full e incremental sem recriar o job. Para equipes brasileiras que lidam com movimentação de dados multi-cloud, as melhorias eliminam gargalos de tuning manual e aceleram pipelines de ETL/CDC com menos riscos operacionais.
O Copy job continua sendo a ferramenta padrão no Microsoft Fabric Data Factory para movimentação simplificada de dados entre clouds e tenants. Com suporte nativo a bulk copy, incremental copy e replicação CDC, ele atende a cenários variados com uma experiência intuitiva. A novidade é que a Microsoft está adicionando camadas de controle que permitem ir além do básico — sem sacrificar a simplicidade. Vamos detalhar o que muda e por que isso importa para quem opera dados em produção no Brasil.
Como o auto-partitioning expandido acelera pipelines sem trabalho manual?
A funcionalidade de Auto Partitioning (Preview) já existia, mas agora cobre três conectores adicionais: Oracle, SAP HANA e Fabric Lakehouse tables. A ideia é eliminar o tuning manual de paralelismo: o Copy job analisa automaticamente as características da fonte e distribui a leitura/escrita em múltiplos workers. Resultado: maior throughput sem definir colunas de partição ou lógicas de sharding customizadas. Para empresas brasileiras que frequentemente lidam com bases Oracle legadas ou SAP HANA em cenários de migração para a nuvem, isso reduz drasticamente o tempo de setup e a complexidade operacional.
Editar Copy job via JSON payload: o que isso significa na prática?
A edição direta por JSON payload (agora GA) oferece máxima flexibilidade para usuários avançados. Enquanto a interface visual é suficiente para a maioria dos casos, a edição via JSON permite automatizar alterações programaticamente, aplicar bulk updates e garantir consistência entre ambientes — essencial para pipelines que seguem práticas de GitOps e Infrastructure as Code. Times de engenharia no Brasil que gerenciam dezenas de jobs podem versionar configurações, revisar mudanças via pull request e evitar retrabalho manual.
Por que poder alternar entre full e incremental copy sem recriar o job é um ganho de agilidade?
Antes, se um job era configurado como incremental e a coluna de change tracking deixasse de existir, era preciso recriar o job do zero. Agora, a alternância entre modos full e incremental é feita com um único clique (ou comando). Isso é particularmente útil em cenários de dados instáveis, onde fontes podem perder temporariamente mecanismos de CDC. O primeiro run no modo incremental sempre faz uma cópia full inicial, seguida de runs incrementais. Para equipes brasileiras que operam com integrações críticas (e.g., sistemas bancários ou varejo), essa flexibilidade reduz downtime e retrabalho.
Conclusão
O Copy job está evoluindo para entregar mais performance e controle sem adicionar sobrecarga. Com auto-partitioning inteligente, edição programática por JSON e alternância de modos, a Microsoft atende tanto times que querem simplicidade quanto aqueles que precisam de fine-tuning. Se você ainda não testou essas atualizações, vale a pena explorar o impacto positivo que elas podem ter na produtividade da sua equipe de dados e na eficiência operacional.
Perguntas Frequentes
-
Quais conectores ganharam suporte ao auto-partitioning no Copy job?
O auto-partitioning (Preview) agora cobre Oracle, SAP HANA e Fabric Lakehouse tables, além dos conectores já existentes. Isso paraleliza automaticamente a movimentação de dados sem necessidade de configurar colunas de partição ou lógica de sharding manual. -
É possível editar um Copy job por JSON mesmo depois de criado?
Sim, a edição via JSON payload foi disponibilizada em GA. Isso permite programar alterações na configuração do job, automatizar bulk updates e garantir consistência entre ambientes — algo essencial para cenários de Infra as Code e CI/CD. -
Posso mudar um Copy job de incremental para full copy sem recriá-lo?
Sim. Agora é possível alternar entre modos full e incremental com uma única ação. Se o mecanismo de change tracking deixar de existir, basta trocar para full; se um novo tracking for identificado, volte para incremental — sem precisar recriar o job do zero. -
O auto-partitioning substitui completamente o tuning manual de desempenho?
Não substitui por completo, mas elimina a maior parte do trabalho braçal. O Copy job analisa as características da fonte e define a estratégia de paralelização ideal. Em cenários com Oracle, SAP HANA ou Lakehouse, isso pode aumentar significativamente o throughput sem intervenção do time de dados. -
Essas novidades já estão disponíveis no Microsoft Fabric para usuários brasileiros?
Sim, o JSON editing e a alternância de modos já estão em GA. O auto-partitioning expandido está em Preview, mas já pode ser testado. A Microsoft recomenda iniciar experimentos em pipelines não críticos para validar os ganhos de performance.
Artigo originalmente publicado por Ye Xu em Azure Updates - Latest from Azure Charts.
