Desbloqueie metadados de eventos do IoT Hub no Fabric Eventstream com o novo conector aprimorado (Preview)

O Azure IoT Hub é o backbone de mensageria para milhões de dispositivos conectados na nuvem. Cada mensagem device-to-cloud carrega não só o payload, mas também um rico conjunto de metadados de sistema — informações como qual dispositivo enviou, quando foi ingerido e qual método de autenticação foi usado. Esses metadados são indispensáveis para medir latência, filtrar telemetria por dispositivo, auditar proveniência de mensagens e monitorar segurança baseada em identidade.

TL;DR: O novo conector IoT Hub (Preview) no Microsoft Fabric Eventstream agora preserva todos os metadados de sistema e propriedades customizadas dos eventos, incluindo device-id, timestamp de ingesta e método de autenticação. Isso desbloqueia cenários como medição de latência ponta a ponta, dashboards por dispositivo, auditoria de segurança e roteamento condicional — tudo sem infraestrutura extra. Para empresas brasileiras que dependem de IoT em escala, é um ganho direto em observabilidade e eficiência operacional.

O Microsoft Fabric Eventstream, parte do Real-Time Intelligence, oferece uma experiência no-code para ingerir dados em tempo real de diversas fontes — incluindo Azure IoT Hub — e roteá-los para destinos como o Eventhouse para análises em tempo real. No entanto, o conector anterior do IoT Hub no Eventstream mantinha apenas o payload do evento e as propriedades customizadas definidas pelo usuário, descartando os metadados de sistema anexados a cada mensagem. Isso impedia que análises downstream usassem contexto como identidade do dispositivo, timestamps de ingesta ou outras informações de nível de sistema que o IoT Hub fornece.

O que há de novo: preservação total de metadados

Estamos liberando um conector IoT Hub aprimorado (Preview) construído sobre o framework Kafka Connect. Esse novo conector preserva todos os metadados do evento — tanto as propriedades de sistema do IoT Hub quanto as propriedades customizadas definidas pelo usuário — copiando-os para a seção de metadados do usuário quando os dados chegam ao Eventstream.

Destaques principais

• Propriedades de sistema preservadas — Propriedades como iothub-connection-device-id, iothub-enqueuedtime e iothub-connection-auth-method agora estão disponíveis downstream, prefixadas com ___src__ para distingui-las das propriedades customizadas.
• Propriedades customizadas inalteradas — As propriedades de aplicação definidas pelo usuário mantêm seus nomes de chave originais, garantindo zero impacto na lógica existente.
• Ativação simples — Basta selecionar "Extended features" ao configurar sua fonte Azure IoT Hub no Eventstream. Nenhuma infraestrutura adicional ou alteração de configuração é necessária.

Cenários desbloqueados

Com metadados completos fluindo pelo Eventstream, você pode construir poderosos cenários de análise em tempo real que antes eram impossíveis:

• Monitoramento de latência ponta a ponta — Compare os timestamps de ingesta do IoT Hub com o tempo de processamento downstream para medir a frescura dos dados e detectar gargalos no pipeline.
• Dashboards por dispositivo — Use a identidade do dispositivo para unir telemetria com dados do registro de dispositivos e construir dashboards em tempo real mostrando métricas por dispositivo, grupo de dispositivos ou localização.
• Auditoria de segurança — Monitore padrões de autenticação em toda a frota de dispositivos e detecte anomalias, como métodos de autenticação não autorizados.
• Roteamento condicional — Roteie eventos para diferentes destinos com base na origem da mensagem — separando telemetria de eventos de ciclo de vida do dispositivo ou notificações de mudança de twin.

Visão geral do fluxo

O conector aprimorado se integra perfeitamente ao seu workflow existente no Eventstream. É um processo de três etapas para ir de eventos brutos do IoT Hub a análises enriquecidas com metadados acionáveis:

1. Ingerir com metadados — Adicione uma fonte Azure IoT Hub ao seu Eventstream e habilite "Extended features". O conector aprimorado copia automaticamente todas as propriedades de sistema e customizadas para os metadados do evento.
2. Extrair com operador SQL — Use o operador SQL nativo do Eventstream com a função GETMETADATAPROPERTYVALUE para extrair campos de metadados específicos ou todas as propriedades de uma vez.
3. Analisar no Eventhouse — Roteie os dados enriquecidos para o Eventhouse e use KQL para realizar análises em tempo real — como calcular latência de ingesta por dispositivo ou agregar métricas por segmentos da frota.

Para um passo a passo completo com etapas detalhadas, consultas SQL e exemplos KQL, consulte a documentação Extract event metadata in Eventstream.

Como começar

Esse recurso já está disponível no Fabric Real-Time Intelligence Eventstream (Preview). Experimente com sua conta do Fabric. Se não tiver uma, inscreva-se no Power BI com uma nova avaliação do Microsoft 365 e inicie uma avaliação gratuita do Fabric. Saiba mais sobre o Eventstream.

Agradecemos seu feedback através do fórum da comunidade, submissão de ideias ou e-mail.

---

Artigo originalmente publicado por Xu Jiang em Azure Updates - Latest from Azure Charts.

Perguntas Frequentes

• O que muda no conector IoT Hub do Eventstream com essa atualização?
  O conector agora preserva todas as propriedades do sistema IoT Hub, como iothub-connection-device-id e iothub-enqueuedtime, além das propriedades customizadas definidas pelo usuário. Basta habilitar a opção 'Extended features' na configuração da fonte no Eventstream.

• Como extrair os metadados preservados no Eventstream?
  Use o operador SQL nativo do Eventstream com a função GETMETADATAPROPERTYVALUE. É possível extrair campos específicos ou todas as propriedades de uma vez, e então rotear os dados enriquecidos para o Eventhouse para análises em KQL.

• Quais cenários de IoT se beneficiam diretamente desse novo conector?
  Monitoramento de latência ponta a ponta (comparando timestamps de ingesta com processamento downstream), dashboards por dispositivo ou grupo de dispositivos, auditoria de padrões de autenticação para segurança, e roteamento condicional de eventos baseado no dispositivo de origem.

• Preciso mudar minha infraestrutura atual para usar o novo conector?
  Não. A ativação é feita diretamente na interface do Eventstream, marcando a opção 'Extended features'. O conector é baseado no framework Kafka Connect e opera sem necessidade de alterações adicionais na arquitetura existente.

• Esse recurso já está disponível para uso em produção?
  Está em Preview (visualização) no Microsoft Fabric Real-Time Intelligence. É recomendado testar em ambientes não produtivos antes de adotar em workloads críticas. A Microsoft disponibilizou documentação detalhada com exemplos de SQL e KQL.