A experimentação A/B permite dividir seus visitantes entre duas ou mais versões de uma página (ou de um botão, ou de um título) e ver qual converte melhor. O Zenovay cuida do sorteio aleatório, da estatística e da atribuição de conversões — você só precisa escolher um objetivo, escrever algumas variantes e colar um snippet.
O que você vai precisar
- Uma conta no Zenovay nos planos Pro, Scale ou Enterprise
- Um objetivo já configurado (abra o painel do seu site, vá para a aba Journeys → Goals, depois Add Goal). O experimento vai medir a conversão contra esse objetivo.
- Acesso ao seu site para colar uma linha de JavaScript
Passo 1: Abrir a aba Experiments
No seu painel, selecione o site que quer testar e clique na aba Experiments. Você vai ver a lista de experimentos passados e ativos.
Passo 2: Criar um novo experimento
Clique em New experiment e preencha:
- Nome — algo memorável, como "Cor do CTA de checkout"
- Hipótese (opcional) — seu palpite sobre por que a mudança pode ajudar
- Objetivo alvo — o objetivo que vai disparar quando um visitante converter
Passo 3: Adicionar suas variantes
Adicione de 2 a N versões:
- A primeira variante é o seu controle (a página atual).
- Cada variante adicional é um tratamento.
- O traffic split controla como os visitantes são divididos. O padrão 50/50 (ou 33/33/33 para três) costuma ser o certo.
Passo 4: Colar o snippet no seu site
O Zenovay gera um snippet de uma linha. Cole onde a mudança deve acontecer — geralmente bem onde você codificaria o estilo ou o texto:
const variant = window.zenovay('experiment', 'checkout-cta-color', ['control', 'green', 'orange']);
if (variant === 'green') document.querySelector('.cta').style.background = '#22c55e';
if (variant === 'orange') document.querySelector('.cta').style.background = '#f97316';
Esse é todo o código de que você precisa. O tracker do Zenovay atribui uma variante a cada visitante, lembra dela e atribui automaticamente qualquer conclusão de objetivo posterior àquela variante.
Passo 5: Lançar
Clique em Launch. O experimento entra no ar em menos de um minuto. Deixe rodar — dê pelo menos alguns dias.
Lendo os resultados
Cada variante recebe uma linha mostrando visitantes, conversões e taxa de conversão. As variantes de tratamento exibem também um intervalo de confiança de 95 % sobre o ganho em relação à variante de controle. Um selo verde winner aparece em um tratamento quando as três condições abaixo se mantêm:
- O p-valor corrigido por Bonferroni está abaixo de 0,05.
- Ambas as variantes atingiram pelo menos a amostra mínima configurada (padrão: 100 visitantes por variante).
- O tratamento bateu o controle na taxa de conversão.
Em linguagem simples: p < 0,05 significa que existe menos de 5% de chance de a diferença observada ser apenas sorte. É o corte padrão para "este resultado é real". Bonferroni é a matemática que aplicamos para que comparar várias variantes ao mesmo tempo não infle esses 5% sem querer.
Se você olhar o painel antes desse limite ser atingido, o resultado ainda pode virar. Não encerre o experimento antes da hora só porque uma variante parece estar à frente — esse "espiar" infla a taxa de falsos positivos.
Limites por plano
| Plano | Experimentos simultâneos | Variantes por experimento |
|---|---|---|
| Free | — | — |
| Pro | 5 | 4 |
| Scale | 25 | 10 |
| Enterprise | ilimitado | ilimitado |
Uma observação sobre o tracking cookieless
Se o seu site carrega nosso tracker cookieless, cada aba do navegador conta como um visitante novo para a atribuição — é normal, e o resultado continua estatisticamente válido; isso só significa que uma mesma pessoa abrindo duas abas pode ver duas variantes diferentes.
Perguntas frequentes
Preciso de alguém de desenvolvimento para rodar um teste A/B?
Para a configuração do experimento em si — escolher um objetivo, dar nome às variantes, ajustar a divisão de tráfego — não. Tudo isso acontece no painel. Para a mudança na página — uma cor de CTA diferente, um título alternativo — você (ou quem cuida do seu site) precisa colar uma linha de JavaScript onde a mudança deve ocorrer. Se seu site roda em WordPress, Shopify, Webflow ou Squarespace, normalmente dá para colar isso direto no bloco de código personalizado da página.
Por quanto tempo devo deixar o experimento rodando?
Decida antes de lançar. Um experimento curto em pouco tráfego não vai dar uma resposta clara; um longo demais queima tempo. Como regra prática, deixe rodando pelo menos uma semana útil cheia e só pare quando atingir o número de visitantes por variante que você combinou antes. Parar antes porque uma variante "parece vencedora" é o erro mais comum.
Qual é um bom primeiro experimento?
Teste algo pequeno e claramente visível — a cor do seu CTA principal, o título sobre o seu CTA, a ordem de duas seções numa landing. Evite refazer o layout todo ou alterar várias páginas no primeiro experimento; é mais difícil de interpretar.
Quantas pessoas eu preciso?
Depende do tamanho do efeito que você quer detectar. Uma mudança grande esperada (por exemplo dobrar a taxa de conversão) precisa de muito menos visitantes do que uma pequena (1 %). Para a maioria dos testes modestos, planeje pelo menos 10.000 visitantes por variante; para efeitos pequenos, 30.000+. Há calculadoras gratuitas online — procure "A/B test sample size calculator" e informe sua taxa de conversão atual.
Posso rodar dois experimentos ao mesmo tempo?
Sim, até o limite simultâneo do seu plano (5 no Pro, 25 no Scale). Se os experimentos mexem no mesmo elemento da página, os resultados ficam mais difíceis de ler — tente espalhar experimentos simultâneos por páginas diferentes ou partes diferentes da mesma página.
Meu experimento não está funcionando. E agora?
Abra o painel do snippet na aba Experiments e confirme que o código colado bate. Depois carregue o site em um navegador e olhe o console do desenvolvedor — se mostrar undefined ou um erro, o tracker do Zenovay não está carregando nessa página, ou a lista de variantes no seu código não bate com o painel. Se as exposições continuarem em 0 depois de uma hora com tráfego saudável, fale com a gente pelo formulário do centro de ajuda.
Os visitantes percebem que estão num teste A/B?
Não. As variantes são servidas no momento do carregamento — os visitantes veem a página atribuída a eles e não veem a alternativa. A única coisa visível para o usuário é a própria variante.
Posso editar o experimento depois de lançar?
Você pode pausar, arquivar ou encerrar. Não dá para mudar variantes, divisão de tráfego ou objetivo depois do lançamento — isso invalidaria os dados coletados. Se precisar mudar, encerre o experimento e clone — abra o experimento e clique em Clone, que copia sua configuração em um novo rascunho editável.
O que acontece se eu bater o limite de experimentos do meu plano?
Arquive um experimento que você já encerrou. Experimentos arquivados (e completados) mantêm os dados históricos — eles só param de contar para o limite simultâneo. Tudo que está em andamento — experimentos draft, running e paused — conta para o limite, então arquivar um finalizado é geralmente a forma mais rápida de liberar um espaço.
E se algo der errado?
Experimentos A/B são bastante tolerantes — no pior caso você perde uma semana e não aprende nada. Mas algumas coisas específicas podem dar errado em silêncio:
- As variantes parecem idênticas para você na página. Abra o painel do snippet, copie o código gerado pelo Zenovay e confira que é a mesma linha que você colou. Compare os slugs de variante do painel com as strings no seu código —
'orange'vs'oragne'é o caso mais comum. - As exposições continuam em zero depois de uma hora. O tracker do Zenovay não está rodando na página em que você chamou o experimento. Abra a página no navegador, abra o console do desenvolvedor (F12 → aba Console) e digite
window.zenovay. Se aparecerundefined, o tracker não está carregando ali. Revise a instalação do script de tracking. - Conversões em zero mas as exposições estão saudáveis. O objetivo errado está selecionado. Abra o experimento, confira o nome do objetivo e dispare ele você mesmo (preencha o formulário, clique no botão) — confirme que ele aparece no seu feed de objetivos em tempo real em menos de um minuto.
- O resultado muda toda hora que você olha. Isso é normal com amostras pequenas. Não encerre o experimento ainda — espere o contador de visitantes chegar ao limite que você decidiu antes do lançamento.
- Uma variante levou a maior parte do tráfego (por exemplo 70/30 em vez de 50/50). Isso se chama sample-ratio mismatch. Se você não mudou a configuração no meio do caminho, normalmente significa que uma variante está jogando um erro de JavaScript antes de o visitante terminar a página. Olhe o console do navegador em cada variante.
Se você já verificou tudo isso e ainda não funcionou, fale com a gente pelo centro de ajuda — conseguimos olhar o log de exposições do seu experimento e descobrir o que está acontecendo.
Quer a referência completa?
A documentação de Experimentação A/B cobre em detalhes o modelo estatístico completo, exemplos de código por framework (React, Vue, GTM), passos de solução de problemas e a postura de privacidade.