Le test standard
Un test z sur deux proportions avec variance groupée, ce que la plupart des plateformes de test A/B calculent en coulisses.
Outils / Calculateur de significativité statistique
Calculateur de significativité statistique
Saisissez visiteurs et conversions pour les deux variantes. Obtenez la valeur p, le gain relatif et une réponse nette sur le caractère significatif de la différence.
z = (p̂B − p̂A) ÷ √( p̄(1 − p̄)(1/nA + 1/nB) )
Saisissez des valeurs pour voir le résultat
- 1
Saisissez la variante A
Les visiteurs qui ont vu le contrôle et combien d'entre eux ont converti.
- 2
Saisissez la variante B
Les deux mêmes nombres pour la challenger. Les conversions ne peuvent pas dépasser les visiteurs.
- 3
Lisez le verdict
Vous obtenez les deux taux de conversion, le gain relatif, la statistique z, la valeur p et si elle franchit 0,05.
Pourquoi tester la significativité
Que la variante B soit en tête ne signifie pas qu'elle est meilleure. Ceci sépare une vraie différence du bruit ordinaire.
Le gain à côté de la significativité
Un gain significatif de 0,2% et un gain non significatif de 40% appellent des décisions très différentes. Les deux chiffres sont affichés.
Honnête sur le seuil
Le verdict utilise le seuil conventionnel de 0,05 et le dit, plutôt que de cacher la valeur p derrière un badge.
Que tester
Tests A/B de pages d'atterrissage
Comparez les taux d'inscription ou d'achat entre deux versions d'une page.
Objets d'e-mails
Vérifiez si une différence de taux d'ouverture ou de clic dépasse le bruit.
Formulation des questions de sondage
Comparez le taux de oui entre deux formulations de la même question.
Test z groupé sur deux proportions
z = (p̂_B − p̂_A) ÷ √( p̄(1 − p̄) × (1/n_A + 1/n_B) ) où p̄ = (x_A + x_B) ÷ (n_A + n_B)
p̄ est le taux de conversion groupé des deux variantes, utilisé parce que l'hypothèse nulle est l'égalité des deux taux. La valeur p est la probabilité normale bilatérale pour ce z.
Avant de désigner un gagnant
- Fixez la taille d'échantillon avant le début du test, puis n'y touchez plus jusqu'à l'atteindre.
- Vérifier chaque jour et s'arrêter dès que ça passe au vert, c'est ainsi qu'on livre des faux positifs.
- Faites tourner le test sur des semaines entières pour représenter le trafic de semaine et de week-end.
- Un résultat significatif sur 30 conversions est fragile. Regardez les effectifs absolus, pas seulement la valeur p.
Significativité ou taux de conversion
Significativité (cette page)
- Compare deux variantes
- Répond à la question : l'écart est-il réel
- Nécessite visiteurs et conversions
Calculateur de taux de conversion
- Décrit une seule variante
- Répond à la question : quel est le taux
- Nécessite une seule paire de nombres
Calculateurs associés
Questions fréquentes
Comment calcule-t-on la significativité statistique d'un test A/B ?
Utilisez un test z sur deux proportions. Groupez les taux de conversion des deux variantes, calculez l'erreur type de la différence, divisez la différence observée par cette erreur, puis convertissez ce z en valeur p bilatérale.
Si p est inférieur à 0,05, la différence est conventionnellement dite statistiquement significative.
Que veut vraiment dire statistiquement significatif ?
Qu'une différence de cette ampleur serait improbable si les deux variantes se comportaient réellement de façon identique. Cela ne veut pas dire que la différence est grande ni qu'elle compte commercialement.
Lisez toujours le gain à côté de la valeur p avant de décider de déployer.
Combien de visiteurs par variante ?
Cela dépend de votre taux de base et du plus petit gain qui vaut la peine d'être détecté. Détecter un petit gain relatif sur un taux de base faible peut demander des dizaines de milliers de visiteurs par variante.
Le calculateur de taille d'échantillon donne un point de départ pour une marge d'erreur cible.
Puis-je arrêter le test dès qu'il devient significatif ?
Non. Regarder de façon répétée et s'arrêter au premier résultat vert gonfle votre taux de faux positifs bien au-delà de 5%.
Fixez la taille d'échantillon à l'avance, allez jusqu'au bout, puis lisez le résultat une seule fois.
Quel niveau de confiance est utilisé ?
Le verdict utilise le niveau standard de 95%, soit p < 0,05. La valeur p exacte est toujours affichée, vous pouvez donc appliquer un seuil plus strict si votre contexte l'exige.
Et si mon test n'est pas significatif ?
Vous n'avez pas assez de preuves que les variantes diffèrent. Ce n'est pas la preuve qu'elles sont identiques. Soit vous continuez jusqu'à un échantillon plus grand, soit vous acceptez qu'une différence réelle serait sans doute trop petite pour valoir la peine.
Cela fonctionne-t-il pour plus de deux variantes ?
Pas directement. Comparer plusieurs variantes à la fois augmente le risque de faux positif, il faut donc un ajustement ou un test global. Le calculateur du khi-deux gère un tableau de conversions multi-variantes.
Mes chiffres sont-ils enregistrés ?
Non. Tout s'exécute dans votre navigateur.
Vous collectez des réponses de sondage toutes fraîches ? Essayez Formms pour un formulaire avec lien court et QR.
Collectez les réponses sur votre téléphone ensuite.
Formms crée le sondage à partir d'un prompt, puis vous pouvez coller les comptes dans ces calculateurs à tout moment.
Voir un formulaire démo →