Μετάβαση στο περιεχόμενο
Rex, ο βοηθός AI σας: αναλαμβάνει τη ρουτίνα, οι ιδέες μένουν δικές σας 👉 Γνωρίστε τον Rex

Δωρεάν εργαλείο

Υπολογιστής δοκιμών A/B

Ελέγξτε αν η διαφορά ανάμεσα σε δύο παραλλαγές είναι στατιστικά σημαντική και υπολογίστε πόσους επισκέπτες χρειάζεται μια δοκιμή. Δωρεάν, χωρίς εγγραφή, με όλους τους τύπους υπολογισμού ορατούς.

Παραλλαγή A (ελέγχου)
Παραλλαγή B
Ρυθμίσεις δοκιμής
Τύπος δοκιμής

Μια αμφίπλευρη δοκιμή ελέγχει αν το B διαφέρει από το A προς οποιαδήποτε κατεύθυνση. Μια μονόπλευρη δοκιμή ελέγχει μόνο αν το B είναι καλύτερο. Επιλέξτε πριν ξεκινήσει η δοκιμή, όχι αφού δείτε τα νούμερα.

Αποτέλεσμα

Ποσοστό μετατροπής A
–
Ποσοστό μετατροπής B
–
Σχετική αύξηση (B έναντι A)
–
Τιμή z
–
Τιμή p
–
–

Πόσους επισκέπτες χρειάζεται η δοκιμή σας;

Σχεδιάστε τη δοκιμή πριν ξεκινήσει. Συμπληρώστε το τρέχον ποσοστό μετατροπής σας και τη μικρότερη αλλαγή για την οποία θα αναλαμβάνατε δράση.

Μια σχετική αλλαγή: 20 σημαίνει ότι θέλετε να ανιχνεύσετε μια μετακίνηση από 10% σε 12%. Όσο μικρότερο το αποτέλεσμα, τόσο περισσότερους επισκέπτες χρειάζεστε.

Απαιτούμενοι επισκέπτες ανά παραλλαγή

–

Πώς υπολογίζεται

  • Ποσοστό μετατροπής: pA = conversions A ÷ visitors A, και αντίστοιχα για το B
  • Σχετική αύξηση: (pB − pA) ÷ pA
  • Συνδυασμένο ποσοστό: p = (conversions A + conversions B) ÷ (visitors A + visitors B)
  • Συνδυασμένο τυπικό σφάλμα: SE = √(p × (1 − p) × (1 ÷ nA + 1 ÷ nB)), όπου n είναι ο αριθμός των επισκεπτών
  • Τιμή z: z = (pB − pA) ÷ SE
  • Τιμή p: αμφίπλευρη 2 × (1 − Φ(|z|)), μονόπλευρη 1 − Φ(z), όπου Φ είναι η τυπική κανονική κατανομή. Το αποτέλεσμα είναι σημαντικό όταν η τιμή p είναι κάτω από 1 − το επίπεδο εμπιστοσύνης, π.χ. 0,05 στο 95%.
  • Διάστημα εμπιστοσύνης για τη διαφορά: (pB − pA) ± z* × √(pA × (1 − pA) ÷ nA + pB × (1 − pB) ÷ nB), με z* = 1,645, 1,960 ή 2,576 για 90%, 95% ή 99%. Αυτό το διάστημα χρησιμοποιεί το μη συνδυασμένο τυπικό σφάλμα.
  • Επισκέπτες ανά παραλλαγή: n = (zα × √(2 × p̄ × (1 − p̄)) + zβ × √(p1 × (1 − p1) + p2 × (1 − p2)))² ÷ (p2 − p1)², όπου p1 είναι το τρέχον ποσοστό, p2 = p1 × (1 + effect), p̄ = (p1 + p2) ÷ 2, zα = 1,645, 1,960 ή 2,576 και zβ = 0,842 για ισχύ 80% ή 1,282 για 90%. Το αποτέλεσμα στρογγυλεύεται προς τα πάνω.

Ο υπολογιστής λειτουργεί στον browser σας και τίποτα από όσα πληκτρολογείτε δεν αποστέλλεται σε εμάς. Χρησιμοποιεί ένα z-test δύο αναλογιών, που είναι η τυπική δοκιμή για τη σύγκριση δύο ποσοστών μετατροπής όταν κάθε παραλλαγή έχει έναν εύλογο αριθμό μετατροπών. Αποφασίστε το μέγεθος του δείγματος πριν ξεκινήσει η δοκιμή και μη σταματήσετε τη στιγμή που το αποτέλεσμα γίνεται σημαντικό: ο επανειλημμένος έλεγχος κάνει τα ψευδώς θετικά αποτελέσματα πιο πιθανά.

Τι σημαίνει στατιστική σημαντικότητα σε μια δοκιμή A/B

Σε μια δοκιμή A/B δείχνετε δύο εκδοχές από κάτι σε δύο τυχαίες ομάδες ανθρώπων και συγκρίνετε πόσοι κάνουν μετατροπή. Η παραλλαγή B σχεδόν ποτέ δεν έχει ακριβώς το ίδιο ποσοστό με την παραλλαγή A, ακόμη κι όταν η αλλαγή δεν κάνει καμία διαφορά. Το ερώτημα είναι αν η απόκλιση είναι μεγαλύτερη από όση θα περιμένατε μόνο από την τύχη.

Η τιμή p απαντά σε αυτό. Είναι η πιθανότητα να δείτε μια διαφορά τουλάχιστον τόσο μεγάλη αν οι δύο παραλλαγές είχαν στην πραγματικότητα την ίδια απόδοση. Μια τιμή p 0,036 σημαίνει ότι μια απόκλιση σαν τη δική σας θα εμφανιζόταν τυχαία σε περίπου 3,6% των δοκιμών χωρίς πραγματική διαφορά. Αν η τιμή p είναι κάτω από το όριό σας (0,05 για επίπεδο εμπιστοσύνης 95%), το αποτέλεσμα λέγεται στατιστικά σημαντικό.

Πώς λειτουργεί ο υπολογιστής

Ο υπολογιστής χρησιμοποιεί ένα z-test δύο αναλογιών. Συνδυάζει τις μετατροπές και των δύο παραλλαγών για να εκτιμήσει το ποσοστό που θα περιμένατε αν δεν υπήρχε διαφορά, υπολογίζει από αυτό το τυπικό σφάλμα και διαιρεί με αυτό τη διαφορά ανάμεσα στα δύο ποσοστά. Το αποτέλεσμα είναι η τιμή z: πόσα τυπικά σφάλματα απέχουν τα δύο ποσοστά. Η τιμή p προκύπτει από την κανονική κατανομή.

Ένα παράδειγμα: η παραλλαγή A έχει 100 μετατροπές από 1.000 επισκέπτες (10%) και η παραλλαγή B 130 από 1.000 (13%). Αυτό είναι σχετική αύξηση 30%, τιμή z περίπου 2,10 και αμφίπλευρη τιμή p περίπου 0,036. Το B είναι σημαντικά καλύτερο στο 95%, αλλά όχι στο 99%.

Το διάστημα εμπιστοσύνης δείχνει το εύρος μέσα στο οποίο πιθανότατα βρίσκεται η πραγματική διαφορά. Στο παράδειγμα κυμαίνεται από περίπου +0,2 έως +5,8 ποσοστιαίες μονάδες. Ένα ευρύ διάστημα σας λέει ότι η δοκιμή δεν είναι ακόμη ακριβής, ακόμη κι αν είναι σημαντική.

Τρέχετε έρευνα αντί για δοκιμή; Ο υπολογιστής μεγέθους δείγματος έρευνας σας λέει πόσες απαντήσεις χρειάζεστε.

Σχεδιάστε πρώτα το μέγεθος του δείγματος

Οι περισσότερες αποτυχημένες δοκιμές είναι πολύ μικρές. Πριν ξεκινήσετε, αποφασίστε τη μικρότερη αλλαγή για την οποία αξίζει να αναλάβετε δράση και χρησιμοποιήστε το εργαλείο σχεδιασμού για να δείτε πόσους επισκέπτες χρειάζεται κάθε παραλλαγή με ισχύ 80%. Η ισχύς είναι η πιθανότητα η δοκιμή να ανιχνεύσει ένα αποτέλεσμα αυτού του μεγέθους αν πράγματι υπάρχει. Στη συνέχεια τρέξτε τη δοκιμή μέχρι να φτάσετε αυτόν τον αριθμό, και τρέξτε τη για ολόκληρες εβδομάδες ώστε να περιλαμβάνονται και καθημερινές και Σαββατοκύριακα.

Μερικοί ακόμη κανόνες βοηθούν:

  1. Δοκιμάζετε μία αλλαγή τη φορά, όπως το έπαθλο, τη μορφή παιχνιδιού ή τον αριθμό των πεδίων της φόρμας, ώστε να ξέρετε τι έκανε τη διαφορά.
  2. Επιλέξτε τη μετρική πριν από τη δοκιμή. Το ποσοστό εγγραφών, το ποσοστό ολοκλήρωσης και το ποσοστό συγκατάθεσης μπορούν να κινηθούν σε διαφορετικές κατευθύνσεις.
  3. Μην κρυφοκοιτάτε και σταματάτε. Αν σταματήσετε μόλις η τιμή p πέσει κάτω από 0,05, οι ψευδείς νικητές γίνονται πολύ πιο συχνοί.

Ο οδηγός μας για τις δοκιμές A/B σε gamified καμπάνιες δείχνει τι αξίζει να δοκιμάσετε σε μια καμπάνια, και η λίστα με KPI για gamification marketing σας βοηθά να επιλέξετε τη μετρική. Στο Scratcher, τα νούμερα κάθε καμπάνιας βρίσκονται στα analytics. Για να δείτε πόσα χρήματα αξίζει ένα καλύτερο ποσοστό μετατροπής, χρησιμοποιήστε τον υπολογιστή ROI καμπάνιας.

Η στατιστική σημαντικότητα σας λέει αν μια διαφορά είναι πιθανότατα πραγματική, όχι αν είναι αρκετά μεγάλη ώστε να έχει σημασία. Δείτε επίσης την αύξηση και το διάστημα εμπιστοσύνης.

Ερωτήσεις

Ερωτήσεις για τη σημαντικότητα δοκιμών A/B

Κλείστε ραντεβού
Είναι δωρεάν ο υπολογιστής δοκιμών A/B;

Ναι. Είναι δωρεάν για χρήση όσο συχνά θέλετε και δεν χρειάζεστε λογαριασμό. Οτιδήποτε πληκτρολογείτε δεν αποστέλλεται σε εμάς.

Ποια τιμή p θεωρείται σημαντική;

Εξαρτάται από το επίπεδο εμπιστοσύνης που επιλέγετε πριν από τη δοκιμή. Στο 95%, μια τιμή p κάτω από 0,05 είναι σημαντική. Στο 90% το όριο είναι 0,10 και στο 99% είναι 0,01. Ένα αυστηρότερο επίπεδο σημαίνει λιγότερους ψευδείς νικητές, αλλά χρειάζεται περισσότερους επισκέπτες.

Να χρησιμοποιήσω μονόπλευρη ή αμφίπλευρη δοκιμή;

Χρησιμοποιήστε αμφίπλευρη, εκτός αν αποφασίσατε εκ των προτέρων ότι σας ενδιαφέρει μόνο αν το B είναι καλύτερο και ότι θα αντιμετωπίζατε ένα χειρότερο B όπως την απουσία διαφοράς. Μια μονόπλευρη δοκιμή φτάνει σε σημαντικότητα νωρίτερα, αλλά δεν μπορεί να σας πει ότι το B είναι χειρότερο.

Το αποτέλεσμά μου δεν είναι σημαντικό. Τι κάνω τώρα;

Σημαίνει ότι η δοκιμή δεν έχει δείξει διαφορά, όχι ότι δεν υπάρχει. Ελέγξτε το εργαλείο σχεδιασμού: αν έχετε πολύ λιγότερους επισκέπτες από όσους χρειάζονται, συνεχίστε τη δοκιμή. Αν έχετε φτάσει το προγραμματισμένο μέγεθος δείγματος, θεωρήστε τις παραλλαγές ισοδύναμες και δοκιμάστε μια μεγαλύτερη αλλαγή.

Γιατί ο υπολογιστής προειδοποιεί για μικρά δείγματα;

Το z-test βασίζεται σε μια προσέγγιση που λειτουργεί μόνο όταν κάθε παραλλαγή έχει αρκετές μετατροπές και μη μετατροπές, περίπου 5 ή περισσότερες από το καθένα. Με λιγότερα δεδομένα, η τιμή p μπορεί να είναι παραπλανητική, οπότε συλλέξτε περισσότερα πριν αποφασίσετε.

Αφήστε την επόμενη κλήρωση να τρέξει μόνη της

Διοργανώστε τον διαγωνισμό σας στη δική σας σελίδα, συλλέξτε emails και συγκατάθεση, και αφήστε την κλήρωση των νικητών να γίνει αυτόματα για εσάς. Δοκιμάστε το δωρεάν για 14 ημέρες, χωρίς να απαιτείται πιστωτική κάρτα.