A/B テストでは、ページ（ボタンや見出しでも可）の 2 つ以上のバージョンに訪問者を振り分け、どれが最もコンバージョンするかを比較できます。ランダム分配・統計処理・コンバージョン帰属はすべて Zenovay が引き受けます。あなたはゴールを 1 つ選び、いくつかのバリアントを用意し、スニペットを貼り付けるだけで構いません。
必要なもの
- Pro、Scale、または Enterprise プランの Zenovay アカウント
- すでに設定済みのゴール（ダッシュボードでウェブサイトを開き、Journeys タブ → Goals → Add Goal）。実験はこのゴールに対するコンバージョンを測定します。
- サイトに JavaScript を 1 行貼り付けるためのアクセス権
ステップ 1: Experiments タブを開く
ダッシュボードでテストしたいウェブサイトを選択し、Experiments タブをクリックします。過去の実験と稼働中の実験のリストが表示されます。
ステップ 2: 新しい実験を作成する
New experiment をクリックして、次の項目を入力します。
- Name — 「Checkout CTA の色」など、覚えやすい名前
- Hypothesis（任意） — その変更がうまくいくと考える理由のメモ
- 対象ゴール — 訪問者がコンバージョンしたときに発火するゴール
ステップ 3: バリアントを追加する
2 〜 N 件のバージョンを追加します。
- 最初のバリアントは control（既存のページ）です。
- それ以降のバリアントは treatment になります。
- トラフィック分配 は訪問者の振り分け比率を決めます。通常は 50/50（3 つなら 33/33/33）の既定値で問題ありません。
ステップ 4: スニペットをサイトに貼り付ける
Zenovay は 1 行のスニペットを生成します。スタイルや文言をハードコードしている箇所、つまり変更を反映させたい場所にそのまま貼り付けてください。
const variant = window.zenovay('experiment', 'checkout-cta-color', ['control', 'green', 'orange']);
if (variant === 'green') document.querySelector('.cta').style.background = '#22c55e';
if (variant === 'orange') document.querySelector('.cta').style.background = '#f97316';
必要なコードはこれだけです。Zenovay のトラッカーが各訪問者にバリアントを割り当て、その情報を保持し、後にゴールが発火した際は自動的にそのバリアントへ帰属させます。
ステップ 5: ローンチする
Launch をクリックします。1 分以内に実験は本番稼働を開始します。あとは数日以上、十分な期間を与えてください。
結果の読み方
各バリアントは、訪問者数、コンバージョン数、コンバージョン率を示す行として表示されます。treatment バリアントには、対照群に対するリフトの 95% 信頼区間も併せて表示されます。緑色の winner バッジは、treatment が次の 3 条件すべて を満たしたときに表示されます。
- Bonferroni 補正後の p 値が 0.05 を下回っている。
- 両方のバリアントが、設定された最小サンプル数（既定: バリアントあたり 100 訪問者）に到達している。
- コンバージョン率で treatment が control を上回っている。
平易に言えば、p < 0.05 とは、観測された差が単なる偶然である確率が 5% 未満であるという意味です。 「この結果は本物だ」と判断する際の標準的な基準です。Bonferroni は、複数バリアントを同時に比較した場合にこの 5% が知らないうちに膨らまないようにするための数学的手当てです。
その水準に到達する前にダッシュボードを覗くと、結果はまだ覆る可能性があります。あるバリアントが先行しているように見えるからといって早期に実験を打ち切らないでください。この「のぞき見」は偽陽性率を膨らませます。
プランごとの上限
| プラン | 同時実行可能な実験数 | 1 実験あたりの最大バリアント数 |
|---|---|---|
| Free | — | — |
| Pro | 5 | 4 |
| Scale | 25 | 10 |
| Enterprise | 無制限 | 無制限 |
Cookieless トラッキングについての注意
サイトで Cookieless トラッカーを利用している場合、ブラウザのタブごとに新しい訪問者として割り当てがリセットされます。これは仕様であり、統計的妥当性は損なわれません。同じ人が 2 つのタブを開くと、それぞれ別のバリアントを目にする可能性がある、という意味になります。
よくある質問
A/B テストを実行するのに開発者は必要ですか？
実験のセットアップそのもの — ゴールの選択、バリアントの命名、トラフィック分配の設定 — については不要です。すべてダッシュボードで完結します。ページ上の変更そのもの — CTA の色を差し替える、別の見出しを表示する、といった変更 — を反映するには、あなた（またはサイトを管理している方）が、変更を適用したい場所に 1 行の JavaScript を貼り付ける必要があります。WordPress・Shopify・Webflow・Squarespace でサイトを運用している場合、通常はページのカスタムコードブロックに直接貼り付けられます。
実験はどのくらいの期間まわせばよいですか？
ローンチ 前 に決めてください。トラフィックが少ない状態で短期間まわしても明確な答えは出ませんし、長すぎる実験は時間を浪費します。目安としては、まず最低でも営業日換算 1 週間、そして「バリアントあたり何訪問者まで集めるか」を事前に決めておき、その水準に達するまで停止しないでください。早すぎる停止は最も多いミスです。
最初の実験には何が向いていますか？
小さく、見ればすぐ分かる変更を選んでください。メインの CTA ボタンの色、CTA の上にある見出し、ランディング上の 2 つのセクションの並び順 などです。初回からレイアウト全体のリニューアルや複数ページにまたがる変更は避けてください。解釈が難しくなります。
何人の訪問者が必要ですか？
検出したい差の大きさによります。大きな差を想定するなら（例えばコンバージョン率が 2 倍になる）少ない訪問者で済み、小さな差（1 % 程度）の検出にはずっと多くの訪問者が必要です。多くの控えめなテストでは バリアントあたり最低 10,000 訪問者 を目安にしてください。微小な効果なら 30,000 以上です。「A/B test sample size calculator」と検索すれば無料のサンプルサイズ計算機があるので、現在のコンバージョン率を入力して確認できます。
2 つの実験を同時に走らせられますか？
はい、プランの同時実行上限の範囲内であれば可能です（Pro は 5、Scale は 25）。同じページ要素を触る実験を同時にまわすと結果の解釈が難しくなるので、同時実行する場合は別ページ、または同じページ内の別の場所に分けるのがおすすめです。
実験がうまく動きません。どうすればよいですか？
Experiments タブのスニペットパネルを開いて、貼り付けたコードが一致しているか確認してください。次にブラウザでサイトを読み込み、開発者ツールのコンソールを確認します。undefined やエラーが出ている場合、そのページに Zenovay トラッカーが読み込まれていないか、コード内のバリアントリストがダッシュボードと食い違っています。健全なトラフィックがあるのにエクスポージャーが 1 時間経っても 0 のままなら、ヘルプセンターのお問い合わせフォームから連絡してください。
訪問者は A/B テストされていることに気づきますか？
いいえ。バリアントはページ読み込み時にすぐ表示されます。訪問者は割り当てられたページしか見ず、もう片方は表示されません。ユーザーに見えるのはバリアントそのものだけです。
ローンチ後に実験を編集できますか？
一時停止・アーカイブ・終了は可能です。バリアント、トラフィック分配、対象ゴールはローンチ後に変更できません — これらを変えると、それまでに集めたデータが無効になるためです。変更が必要な場合は、実験を終了してクローンしてください — 実験を開いて Clone をクリックすると、その設定が新しい編集可能なドラフトにコピーされます。
プランの実験上限に達したらどうなりますか？
完了済みの実験をアーカイブしてください。アーカイブ済みの（および完了済みの）実験は履歴データを保持したまま、同時実行枠だけが解放されます。稼働中のすべて — draft、running、paused ステータスの実験 — が上限にカウントされるため、完了済みのものをアーカイブするのが通常、スペースを確保する最短手段です。
うまくいかないときの対処
A/B 実験は比較的寛容で、最悪の場合でも 1 週間を失って何も学べなかった、という程度で済みます。ただし、いくつか黙って失敗しがちなポイントがあります。
- ページ上でバリアントが同じに見える。 スニペットパネルを開き、Zenovay が生成したコードと、実際に貼り付けたコードが同じ 1 行であるかを確認してください。ダッシュボードのバリアントスラッグとコード内の文字列も突き合わせます —
'orange'と'oragne'のようなタイプミスが最も多い原因です。 - 1 時間経ってもエクスポージャーが 0 のまま。 実験を呼び出したページで Zenovay トラッカーが動いていません。そのページをブラウザで開き、開発者ツールを起動して（F12 → Console タブ）、
window.zenovayと入力してください。undefinedと表示されたら、そのページでトラッカーが読み込まれていません。トラッキングスクリプトのインストールをもう一度確認してください。 - エクスポージャーは健全だがコンバージョンが 0 のまま。 選んだゴールが違っています。実験を開いて対象ゴール名を確認し、自分でゴールをトリガーしてみてください（フォーム送信、ボタンクリックなど）。1 分以内にリアルタイムのゴールフィードに表示されることを確認します。
- 見るたびに結果がひっくり返る。 サンプルが少ない段階では普通のことです。まだ実験を終了しないでください。ローンチ前に決めた訪問者数のしきい値まで待ちましょう。
- 片方のバリアントに大半のトラフィックが集まった（例: 50/50 のはずが 70/30 になっている）。 これは sample-ratio mismatch と呼ばれます。途中で設定を変えていない場合、たいていは片方のバリアントが訪問者のページ読み込み中に JavaScript エラーを投げています。各バリアントでブラウザのコンソールを確認してください。
上記をすべて確認しても解決しない場合は、ヘルプセンターからご連絡ください。実験のエクスポージャーログを確認して原因を特定できます。
完全なリファレンスをお探しですか？
A/B テストのドキュメント では、統計モデルの全体像、フレームワーク別のコードサンプル（React、Vue、GTM）、トラブルシューティング手順、プライバシーの取り扱いを詳しく解説しています。