Entenda como a Netflix realiza testes A/B

Consegue imaginar uma empresa como a Netflix, com milhões de membros utilizando o serviço, atualizando a plataforma sem aplicar testes A/B? Muito provavelmente, ocorreria um “desastre”.

Por melhor que seja o desempenho da equipe de desenvolvimento, o usuário pode ser imprevisível. Ele não é especialista no produto, não foi treinado e assume comportamentos inesperados. Você já viu isso acontecer, certo?

Em uma proporção menor, é óbvio que fica mais fácil de resolver. Contudo, ainda que você provavelmente não opere com milhões de usuários, deve ter o objetivo de escalar o seu negócio.

Além disso, com testes bem aplicados, você vai poupar tempo, desgaste com o cliente e gastos desnecessários — mesmo enquanto não alcança os números da Netflix.

Continue a leitura, entenda a forma como operam e aproveite-a no seu negócio.

Como a Netflix opera com testes A/B?

Cada mudança de produto que a empresa considera aplicar passa por testes A/B. Seja a reformulação complexa do algoritmo, seja uma simples mudança de layout de uma imagem, tudo é testado de acordo com a metodologia por uma equipe de engenheiros.

Os testes permitem comprovar que a experiência do usuário melhorou com a mudança, que ele passou a encontrar o que desejava mais rapidamente, que um título começou a ser mais visualizado com uma nova imagem e assim por diante.

Essa política garante que as mudanças não ocorram por achismos da equipe. Além disso, ajuda a criar uma cultura de valorização da experiência e da voz do cliente dentro da empresa.

Na atualidade, o grande desafio das companhias é envolver o cliente no desenvolvimento. Assim, de uma forma indireta, ele passa a fazer parte do processo decisório.

Como é a metodologia de testes?

A ideia central é criar um grupo de controle e um ou mais grupos que, na Netflix, chamam-se células. Uma delas é designada como “célula padrão” e recebe a mesma experiência que está rodando na versão atual.

Assim que o teste começa, é acompanhado com métricas — como horas de streaming e retenção. Assim que conseguem um número suficiente de participantes, é possível comparar o resultado de cada célula com a padrão, o que permite identificar qual delas oferece a melhor experiência. Em paralelo, problemas em potencial são identificados.

Além disso, os membros são alocados de duas maneiras diferentes: em lote e em tempo real. No primeiro caso, um conjunto fixo de membros passa pelo teste e, no segundo, os membros são selecionados de acordo com a necessidade de informação.

Por exemplo, digamos que estejam testando um novo recurso para tablets. Nesse caso, os membros serão adicionados às células de acordo com o aparelho que estão usando ou outros critérios especificados para atingir os objetivos do teste.

Como são os testes de experimento?

Qualquer usuário da Netflix percebe que o conteúdo da página inicial muda a cada novo login. Essas mudanças ocorrem de forma a facilitar que ele encontre rapidamente o que deseja assistir e tem base no comportamento identificado.

Além das preferências de cada usuário, o tipo de filme que assiste e os que seleciona como preferidos, a empresa cria experiências considerando os mais diversos detalhes. O objetivo é estimular que os membros assistam o conteúdo disponibilizado.

Nos testes, são oferecidos diferentes conteúdos para diferentes grupos. Assim, é possível identificar as reações e selecionar o que funciona melhor para captar a atenção do usuário mais rapidamente — o que é fundamental para a retenção.

Na lógica da Netflix, existem dois motivos principais para não conseguir o melhor resultado. O primeiro é, evidentemente, não disponibilizar o conteúdo certo para cada perfil de usuário. Já o segundo é não fornecer as evidências que o usuário precisa para decidir por um conteúdo.

Obviamente, após inúmeros testes realizados, a empresa identificou padrões gerais que ajudam nesses objetivos. Contudo, os testes continuam a contribuir na verificação e com a utilização de um sistema criado para agrupar, por exemplo, diferentes formatos de artes.

Uma mesma imagem de fundo pode ser disponibilizada com diferentes retoques, proporções e localização de títulos, permitindo identificar a que consegue melhor desempenho. Alguns casos são esclarecedores. Por exemplo:

Os testes com a série “Sense8” — que conta com um elenco multicultural — mostraram que os resultados eram diferentes dependendo do país que as imagens eram apresentadas.

Já no caso do “Dragons: Race to the Edge”, percebeu-se que, quando apresentavam imagens com vilões, a aceitação era melhor.

Nos testes de imagens para a segunda temporada de “Unbreakable Kimmy Schmidt”, o melhor desempenho foi para as que apresentavam os personagens fazendo careta. Aliás, para o título “Orange Is The New Black”, a quantidade de personagens é que fez a diferença.

A primeira temporada foi promovida com todo o elenco na imagem de divulgação. Isso parecia fazer sentido no contexto da história, mas, quando aplicaram testes, notaram que os usuários entendiam melhor do que se tratava o filme com menos personagens.

Como são os testes de hipótese?

Um caso interessante relatado pela Netflix partiu da suspeita da equipe de design. Seus integrantes acreditavam que os visitantes tenderiam a contratar mais facilmente o serviço se pudessem navegar no catálogo de filmes. Essa hipótese era apoiada por alguns estudos e precisava ser testada.

Na oportunidade, foram disponibilizadas duas páginas diferentes para potencias clientes. Numa delas, era possível acessar o catálogo e na outra não. Para surpresa da equipe, a conversão foi mais alta na versão sem acesso ao catálogo.

É interessante notar que os estudos incluíam pesquisas nas quais os clientes diziam preferir a página com acesso prévio. Isso prova a importância dos testes e o fato de que nem tudo o que o cliente diz é o que ele faz.

Além disso, essas informações podem ser cruzadas e gerar novos testes. Uma pergunta que poderia ser feita nesse caso é: será que o catálogo poderia ser mais atrativo? Algo que viram ou observaram pode ter desestimulado a assinatura?

Para concluir, vale mencionar que a aplicação dos testes A/B não é útil apenas por permitir levantar métricas efetivas sobre a experiência do usuário, mas a prática constante ajuda o time a aprender sobre essa vivência do cliente, como ele pensa e age. Na atualidade, é consenso o fato de que esse conhecimento é essencial para a competitividade do negócio.

Agora que terminamos, garanta o recebimento de conteúdos como este. Assine nossa newsletter!

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *