Como proteger o Azure Databricks sem exposição pública: A estratégia de WAF e Private Endpoints

Este artigo detalha a implementação de uma arquitetura Zero Trust para o Azure Databricks, substituindo listas de acesso de IP por um modelo de isolamento de rede robusto. Ao integrar o Azure Application Gateway com WAF e Private Endpoints (Azure Private Link), empresas podem eliminar a dependência de endpoints públicos, garantindo que todo tráfego seja inspecionado, validado e mantido em redes privadas, alinhando-se às exigências de conformidade e segurança para cargas críticas em nuvem.

Por que o modelo de Zero Trust é inegociável para o Azure Databricks?

Embora o Azure Databricks seja um serviço gerenciado (SaaS), a sensibilidade dos dados em ambientes corporativos exige que abandonemos o modelo de segurança de perímetro tradicional. A implementação do Azure Private Link oferece três pilares essenciais para operações brasileiras que buscam robustez:

• Eliminação total da exposição via internet pública.
• Garantia de retenção de tráfego dentro de redes privadas.
• Redução drástica do risco de data exfiltration.

A transição para um modelo puramente privado permite que gestores de TI cumpram regulamentações setoriais (como LGPD, PCI-DSS e normativas do setor financeiro), garantindo auditoria completa do tráfego e acesso controlado via VPN ou ExpressRoute.

Como garantir o fluxo de tráfego seguro para o Databricks?

O desafio reside em equilibrar a necessidade de acesso para usuários internos e parceiros externos sem abrir brechas. A arquitetura abaixo demonstra como centralizar a segurança:

Acesso do Usuário Externo (Red Flow)

1. O usuário se conecta via internet.
2. A requisição é interceptada pelo Application Gateway (WAF) para inspeção e validação.
3. O fluxo é roteado via Private Endpoint ao workspace do Databricks.

Acesso do Usuário Interno (Green Flow)

1. A conexão ocorre via VPN ou ExpressRoute.
2. O tráfego entra no Hub VNet.
3. O roteamento é feito diretamente para o Private Endpoint no Spoke VNet, garantindo baixa latência e segurança sem trânsito pela internet.

Quais os componentes fundamentais desta arquitetura?

A implementação exige um desenho cuidadoso em uma topologia Hub & Spoke:

1. Application Gateway com WAF: O ponto de entrada único localizado no Hub VNet. Responsável pelo encerramento de SSL e inspeção centralizada.
2. WAF com Custom Rules: Proteção ativa contra as ameaças do OWASP Top 10. Regras customizadas permitem o controle fino baseado em geolocalização ou padrões de requisição.
3. Conectividade Interna Segura: Uso de NSGs e firewall para segmentar o acesso, tratando fluxos internos e externos separadamente.
4. Desativação de Acesso Público: Configuração do workspace onde o acesso público é totalmente desabilitado.
5. Private Endpoint: Mapeamento do workspace a um IP privado, garantindo que a comunicação se mantenha no backbone Azure.

Considerações críticas para implementação

• O Application Gateway Listener deve ser configurado com o FQDN correto que será utilizado pelos usuários.
• A resolução de DNS para os Private Endpoints deve estar impecável; o Application Gateway precisa resolver o FQDN do workspace para o IP privado.
• O Backend Pool deve utilizar o FQDN do Databricks. Evite colocar o endereço IP privado, pois isso compromete a saúde das requisições web.
• Implemente End-to-End SSL no nível do Application Gateway para manter a integridade dos dados durante todo o trajeto.

Perguntas Frequentes

• Por que usar Private Endpoints é superior ao uso de IP Access Lists no Databricks?

• Enquanto o IP Access List apenas filtra origens, os Private Endpoints garantem isolamento de rede completo. Isso remove o serviço da internet, o que é fundamental para conformidade e para reduzir o risco de exfiltração de dados em ambientes sensíveis.

• O Application Gateway é obrigatório para acessar o Databricks em um modelo de rede fechada?

• Sim, ele atua como um ponto de entrada centralizado. Ele permite SSL termination, inspeção de tráfego via WAF e roteamento seguro, sendo essencial para proteger a interface do usuário contra ameaças externas (OWASP Top 10).

• Posso configurar o backend pool do Application Gateway com o IP privado do Databricks?

• Não. Embora tecnicamente o IP privado possa ser incluído, a recomendação é utilizar o FQDN. O uso de IP direto no backend resultará em falhas nas solicitações web, mesmo que o status de health pareça normal.

• Como garantir o acesso para usuários externos em uma arquitetura de rede privada?

• O acesso externo deve passar obrigatoriamente pelo WAF, onde o tráfego é inspecionado. Internamente, o acesso flui via VPN ou ExpressRoute diretamente para os Private Endpoints, mantendo a latência baixa e a segurança privada.

---

Artigo originalmente publicado em Azure Updates - Latest from Azure Charts.