Como medir o impacto das mudanças no site

Sites mudam o tempo todo: página inicial nova, outro botão de chamada, página de produto reescrita, tema mais rápido. Meses depois, alguém pergunta se a mudança funcionou, e ninguém sabe direito.

Não é preciso estatística avançada para responder razoavelmente bem. É preciso um objetivo claro, uma comparação cuidadosa de antes e depois e um registro de tudo o que aconteceu no mesmo período.

Passo 1: escreva o que você espera

Antes de a mudança entrar no ar, escreva uma frase:

"Vamos mudar o layout da página de preços para que mais visitantes cliquem em 'Começar grátis'. Vamos comparar os cadastros vindos dessa página nas quatro semanas antes e nas quatro semanas depois."

Isso obriga a três decisões: o que você está mudando, qual número deveria se mexer e quanto tempo vai esperar. E também protege contra encontrar um "sucesso" depois, escolhendo a métrica que por acaso subiu.

Passo 2: registre a base de comparação

Reúna os números do período anterior à mudança:

• A métrica principal (cadastros vindos da página, vendas, formulários).
• O tráfego das páginas afetadas, por origem.
• A taxa de conversão dessas páginas.

Use um período longo o bastante para incluir a variação normal. Para a maioria dos sites pequenos, pelo menos algumas semanas.

Passo 3: anote a data e os detalhes

Registre exatamente quando a mudança entrou no ar e o que foi feito. "17/10, 10h – nova página de preços, seletor mensal/anual, perguntas frequentes mais para cima." Inclua quem fez.

É o passo mais fácil de esquecer e o mais difícil de reconstruir depois. O histórico de estratégias do WEBPilot guarda essas anotações para cada site, para que estejam lá quando você olhar os números.

Passo 4: compare de forma justa

Depois do período de espera, compare as mesmas métricas:

• Mesma duração antes e depois.
• Mesmos dias da semana sempre que possível.
• Taxas, não só totais. Se o tráfego dobrou por causa de uma campanha, as conversões sobem mesmo que a página tenha piorado. Olhe a taxa de conversão.
• Por origem. Uma mudança pode ajudar quem vem de anúncios e atrapalhar quem vem da busca.

Passo 5: veja o que mais aconteceu

É aqui que a maioria das conclusões dá errado. No mesmo período, aconteceu alguma destas coisas?

• Uma campanha começou ou parou.
• Feriado, data comemorativa, notícia relevante.
• Atualização de buscador.
• Outras mudanças no site.
• Mudança na medição, como um banner de cookies novo.

Se algo grande aconteceu ao mesmo tempo, seja honesto: o resultado é incerto. Isso também é uma informação útil.

Passo 6: decida e registre o resultado

Anote o resultado ao lado da anotação original:

• "Taxa de cadastro na página de preços passou de 3,1% para 3,6%. Tráfego estável. Sem campanhas no período. Mantemos o layout novo."

Os números desse exemplo são ilustrativos; os seus serão outros. O que importa é o formato: resultado, contexto, decisão.

Quando dá para fazer melhor: testes A/B

Se o site tem tráfego suficiente, um teste A/B é mais confiável: metade dos visitantes vê a versão A e metade vê a versão B, ao mesmo tempo. Como os dois grupos passam pela mesma época, as mesmas campanhas e as mesmas notícias, a comparação fica bem mais limpa.

Testes A/B precisam de uma quantidade razoável de conversões para dar uma resposta confiável. Em sites pequenos, podem levar muito tempo. O método de antes e depois, feito com cuidado, é uma alternativa prática.

Erros comuns

• Mudar muita coisa de uma vez. Layout novo, preços novos e campanha nova na mesma semana tornam impossível saber o que funcionou.
• Julgar cedo demais. Poucos dias de dados são dominados por variação aleatória.
• Ignorar a sazonalidade. Comparar dezembro com novembro numa loja diz mais sobre o Natal do que sobre a sua página.
• Não anotar nada. Sem registro, toda revisão começa do zero.

Resumo

Defina o objetivo, registre a base, anote a mudança, compare de forma justa, verifique outros acontecimentos e registre o resultado. Com o tempo, esse registro vira um dos maiores ativos da equipe: uma lista do que realmente funciona no seu site. Para mudanças de SEO, veja Como medir os resultados de SEO ao longo do tempo.