Mit A/B-Experimenten teilen Sie Ihre Besucher zwischen zwei oder mehr Versionen einer Seite (oder eines Buttons oder einer Überschrift) auf und sehen, welche besser konvertiert. Zenovay übernimmt die zufällige Aufteilung, die Statistik und die Conversion-Attribution — Sie wählen nur ein Ziel, formulieren ein paar Varianten und fügen einen Snippet ein.
Was Sie benötigen
- Ein Zenovay-Konto auf dem Plan Pro, Scale oder Enterprise
- Ein bereits konfiguriertes Ziel (öffnen Sie das Dashboard Ihrer Website, gehen Sie zum Tab Journeys → Goals, dann Add Goal). Das Experiment misst die Conversion gegen dieses Ziel.
- Zugriff auf Ihre Site, um eine Zeile JavaScript einzufügen
Schritt 1: Den Experiments-Tab öffnen
Wählen Sie im Dashboard die Website aus, die Sie testen möchten, und klicken Sie auf den Tab Experiments. Dort sehen Sie eine Liste vergangener und aktiver Experimente.
Schritt 2: Ein neues Experiment anlegen
Klicken Sie auf New experiment und füllen Sie aus:
- Name — etwas Einprägsames, zum Beispiel "Checkout-CTA-Farbe"
- Hypothese (optional) — Ihre beste Vermutung, warum die Änderung helfen könnte
- Zielereignis — das Ziel, das beim Konvertieren eines Besuchers ausgelöst wird
Schritt 3: Varianten hinzufügen
Fügen Sie 2 bis N Versionen hinzu:
- Die erste Variante ist Ihre Kontrolle (Ihre bestehende Seite).
- Jede weitere Variante ist ein Treatment.
- Der Traffic-Split legt fest, wie die Besucher aufgeteilt werden. Die Standardaufteilung 50/50 (oder 33/33/33 bei drei Varianten) passt meistens.
Schritt 4: Den Snippet auf Ihrer Site einfügen
Zenovay generiert einen einzeiligen Snippet. Fügen Sie ihn dort ein, wo die Änderung greifen soll — typischerweise genau an der Stelle, an der Sie das Styling oder die Texte hart codieren würden:
const variant = window.zenovay('experiment', 'checkout-cta-color', ['control', 'green', 'orange']);
if (variant === 'green') document.querySelector('.cta').style.background = '#22c55e';
if (variant === 'orange') document.querySelector('.cta').style.background = '#f97316';
Mehr Code brauchen Sie nicht. Der Tracker von Zenovay weist jedem Besucher eine Variante zu, merkt sie sich und schreibt eine spätere Goal-Vervollständigung automatisch dieser Variante zu.
Schritt 5: Starten
Klicken Sie auf Launch. Das Experiment ist innerhalb einer Minute live. Lassen Sie ihm Zeit — geben Sie ihm mindestens ein paar Tage.
Die Ergebnisse lesen
Jede Variante erhält eine Zeile mit Besuchern, Conversions und Conversion-Rate. Treatment-Varianten zeigen zusätzlich ein 95-%-Konfidenzintervall für den Lift gegenüber der Kontrolle. Ein grünes Winner-Badge erscheint bei einem Treatment, sobald alle drei Bedingungen zutreffen:
- Der Bonferroni-korrigierte p-Wert liegt unter 0,05.
- Beide Varianten haben mindestens die konfigurierte Mindeststichprobe (Standard: 100 Besucher pro Variante) erreicht.
- Das Treatment hat die Kontrolle bei der Conversion-Rate geschlagen.
In einfachen Worten: p < 0,05 bedeutet, dass die Wahrscheinlichkeit unter 5 % liegt, dass der beobachtete Unterschied bloßer Zufall ist. Das ist die Standardgrenze für "dieses Ergebnis ist real". Bonferroni ist die Mathematik, mit der wir verhindern, dass das gleichzeitige Vergleichen vieler Varianten diese 5 % unbemerkt aufbläht.
Wenn Sie das Dashboard prüfen, bevor diese Hürde erreicht ist, kann sich das Bild noch drehen. Beenden Sie das Experiment nicht vorzeitig, nur weil eine Variante in Führung wirkt — dieses "Spähen" erhöht die Falsch-positiv-Rate.
Limits pro Plan
| Plan | Parallele Experimente | Varianten pro Experiment |
|---|---|---|
| Free | — | — |
| Pro | 5 | 4 |
| Scale | 25 | 10 |
| Enterprise | unbegrenzt | unbegrenzt |
Hinweis zum Cookieless-Tracking
Wenn Ihre Site unseren Cookieless-Tracker lädt, zählt jeder Browser-Tab für die Zuweisung als neuer Besucher — das ist normal, und das Ergebnis bleibt statistisch gültig. Es bedeutet nur, dass eine Person, die zwei Tabs öffnet, möglicherweise zwei verschiedene Varianten zu sehen bekommt.
Häufige Fragen
Brauche ich Entwicklerinnen oder Entwickler, um einen A/B-Test zu starten?
Für das Setup selbst — Ziel auswählen, Varianten benennen, Traffic-Split festlegen — nicht. Das passiert komplett im Dashboard. Für die Änderung auf der Seite selbst — eine andere CTA-Farbe, ein anderer Headline-Text — muss jemand (Sie oder die Person, die Ihre Site betreut) eine Zeile JavaScript an der passenden Stelle einfügen. Wenn Ihre Site auf WordPress, Shopify, Webflow oder Squarespace läuft, können Sie das normalerweise direkt im Custom-Code-Block der Seite einfügen.
Wie lange sollte ich das Experiment laufen lassen?
Legen Sie das vor dem Launch fest. Ein kurzes Experiment bei wenig Traffic liefert kein klares Ergebnis; ein zu langes verbrennt Zeit. Als Faustregel gilt: mindestens eine volle Geschäftswoche, und stoppen Sie erst, wenn die im Voraus festgelegte Anzahl an Besuchern pro Variante erreicht ist. Vorzeitiges Stoppen, weil eine Variante "vorne liegt", ist der häufigste Fehler.
Was ist ein gutes erstes Experiment?
Testen Sie etwas Kleines und klar Sichtbares — die Farbe Ihres Haupt-CTAs, die Überschrift darüber, die Reihenfolge zweier Sektionen auf einer Landingpage. Vermeiden Sie beim ersten Versuch ein komplettes Layout-Rework oder seitenübergreifende Änderungen; die sind schwerer zu interpretieren.
Wie viele Besucher brauche ich?
Hängt davon ab, wie groß der zu erkennende Unterschied ist. Eine große erwartete Veränderung (z. B. eine Verdoppelung der Conversion-Rate) benötigt viel weniger Besucher als eine kleine (etwa 1 %). Für die meisten moderaten Tests planen Sie mindestens 10.000 Besucher pro Variante; bei kleinen Effekten 30.000+. Online gibt es kostenlose Stichprobenrechner — suchen Sie nach "A/B test sample size calculator" und geben Sie Ihre aktuelle Conversion-Rate ein.
Kann ich zwei Experimente gleichzeitig laufen lassen?
Ja, bis zum Concurrency-Limit Ihres Plans (5 auf Pro, 25 auf Scale). Wenn die Experimente dasselbe Seitenelement berühren, sind die Ergebnisse schwerer zu lesen — versuchen Sie, gleichzeitige Experimente auf unterschiedliche Seiten oder unterschiedliche Bereiche derselben Seite zu legen.
Mein Experiment funktioniert nicht. Was nun?
Öffnen Sie im Experiments-Tab das Snippet-Panel und prüfen Sie, ob der eingefügte Code übereinstimmt. Laden Sie dann Ihre Site im Browser und prüfen Sie die Developer-Konsole — gibt sie undefined oder einen Fehler aus, lädt der Zenovay-Tracker auf dieser Seite nicht oder die Variantenliste in Ihrem Code stimmt nicht mit der im Dashboard überein. Bleiben die Exposures auch nach einer Stunde bei gesundem Traffic auf 0, melden Sie sich über das Kontaktformular im Help Center.
Bemerken Besucher, dass ich sie A/B-teste?
Nein. Varianten werden beim Pageload sofort ausgeliefert — Besucher sehen die Seite, die ihnen zugewiesen wurde, und nichts von der Alternative. Sichtbar ist für sie ausschließlich die Variante selbst.
Kann ich das Experiment nach dem Launch bearbeiten?
Sie können es pausieren, archivieren oder beenden. Sie können nach dem Launch jedoch weder Varianten noch Traffic-Split oder Zielereignis ändern — das würde die bisher gesammelten Daten entwerten. Müssen Sie etwas ändern, beenden Sie das Experiment und klonen Sie es — öffnen Sie das Experiment und klicken Sie auf Clone, wodurch sein Setup in einen frischen editierbaren Entwurf kopiert wird.
Was passiert, wenn ich das Limit meines Plans für Experimente erreiche?
Archivieren Sie ein bereits abgeschlossenes Experiment. Archivierte (und abgeschlossene) Experimente behalten ihre historischen Daten — sie zählen lediglich nicht mehr zum Concurrency-Limit. Alle noch aktiven — draft, running und paused Experimente — zählen zum Limit, daher ist das Archivieren eines abgeschlossenen normalerweise der schnellste Weg, einen Slot freizumachen.
Was tun, wenn etwas schiefläuft?
A/B-Experimente sind ziemlich verzeihend — schlimmstenfalls verlieren Sie eine Woche und lernen nichts. Trotzdem können ein paar bestimmte Dinge unbemerkt schiefgehen:
- Die Varianten sehen für Sie auf der Seite identisch aus. Öffnen Sie das Snippet-Panel, kopieren Sie den von Zenovay generierten Code und prüfen Sie, ob es dieselbe Zeile ist, die Sie eingefügt haben. Vergleichen Sie die Variantenslugs im Dashboard mit den Strings in Ihrem Code —
'orange'vs.'oragne'ist die häufigste Ursache. - Auch nach einer Stunde keine Exposures. Der Zenovay-Tracker läuft auf der Seite nicht, auf der Sie das Experiment aufgerufen haben. Öffnen Sie die Seite im Browser, dann die Developer-Konsole (F12 → Tab Console), und geben Sie
window.zenovayein. Steht dortundefined, lädt der Tracker dort nicht. Prüfen Sie die Installation Ihres Tracking-Skripts erneut. - Conversions bleiben bei 0, obwohl die Exposures gesund aussehen. Das falsche Ziel ist ausgewählt. Öffnen Sie das Experiment, prüfen Sie den Namen des Zielereignisses und lösen Sie das Ziel selbst aus (Formular ausfüllen, Button klicken) — bestätigen Sie binnen Minuten den Eintrag im Echtzeit-Goal-Feed.
- Das Ergebnis kippt bei jedem Aufruf. Das ist bei kleinen Stichproben normal. Beenden Sie das Experiment noch nicht — warten Sie auf den Besucherbudget, das Sie vor dem Launch festgelegt haben.
- Eine Variante hat den Großteil des Traffics bekommen (z. B. 70/30 statt 50/50). Das nennt sich Sample-Ratio-Mismatch. Haben Sie die Experimentkonfiguration zwischendurch nicht verändert, liegt es meist daran, dass eine Variante einen JavaScript-Fehler wirft, bevor Besucher die Seite zu Ende laden. Prüfen Sie die Browser-Konsole für jede Variante.
Haben Sie all dies geprüft und das Experiment funktioniert immer noch nicht, kontaktieren Sie uns über das Help Center — wir können das Exposure-Log Ihres Experiments einsehen und der Ursache nachgehen.
Möchten Sie die vollständige Referenz?
Die A/B-Experimente-Dokumentation beschreibt das vollständige statistische Modell, framework-spezifische Codebeispiele (React, Vue, GTM), Fehlerbehebungsschritte und die Datenschutzhaltung im Detail.