A RVU, holding por trás de marcas como Confused.com e Uswitch, ilustra bem o desafio de empresas que operam em escala: como transformar volumes massivos de dados comportamentais em recomendações personalizadas em tempo quase real? A resposta não está apenas na qualidade dos modelos de Machine Learning (ML), mas, fundamentalmente, na robustez e agilidade da infraestrutura de dados que alimenta esse ecossistema.
O principal gargalo para o time de engenharia da RVU era a fragmentação. Com múltiplas marcas, o desafio era consolidar sinais de comportamento de usuários em um conjunto de dados coerente. A escolha pelo ecossistema Google Cloud, com o BigQuery como data foundation e o Dataproc atuando como o motor de processamento, demonstra uma estratégia clara: o foco no business value através de serviços gerenciados, eliminando o overhead de gestão de clusters e infraestrutura de rede.
O uso do Dataproc e do Google Cloud Serverless for Apache Spark permitiu uma mudança drástica no ciclo de vida de desenvolvimento de modelos. O processo de feature engineering — frequentemente o ponto mais custoso e lento em projetos de ciência de dados — deixou de levar semanas para ser concluído em poucos dias.
Para líderes de TI, esse ganho de velocity é o indicador de eficiência operacional mais relevante, pois altera drasticamente o time-to-market. A implementação do modelo serverless permite que os engenheiros foquem na escrita de código eficiente para Spark, sem a necessidade de configurar load balancers, gerenciar latency ou orquestrar a comunicação entre instâncias de clusters. O network effect resultante, onde todos os componentes (BigQuery, Spark Jobs e Model Serving) residem no mesmo ecossistema, minimiza custos de transferência de dados e simplifica a governança.
Em termos de estratégia, a adoção do Dataproc reflete a maturidade de arquiteturas de dados que buscam alta disponibilidade e escalabilidade vertical e horizontal. Ao delegar a complexidade da infraestrutura para o provedor, times de engenharia no Brasil podem replicar essa estratégia para focar o talento técnico em data products que, de fato, entregam vantagem competitiva, reduzindo o risco de vendor lock-in operacional e aumentando a agilidade em cenários de multi-cloud ou migrações complexas.
Artigo originalmente publicado por Siddharth Dawara Head of Data Engineering, RVU em Cloud Blog.
