How do I calculate A/B test significance?

Use a two-proportion z-test. Compute each variant's conversion rate, pool them under the null hypothesis, and divide the difference by the pooled standard error to get a z-score. Convert z to a p-value via the standard normal CDF. p below 0.05 means significant at the 95% level. This calculator does all of that for you.

What p-value is considered statistically significant?

The convention is p < 0.05 (95% confidence) for marketing experiments and p < 0.01 (99%) for higher-stakes decisions. Both are arbitrary thresholds — 0.049 and 0.051 carry essentially the same evidence. Pre-register your threshold and the test duration before you start collecting data.

How long should I run an A/B test?

Run it for the duration the Sample Size Planner returns — usually 1 to 4 weeks for typical web traffic — and resist the urge to peek and stop early. At minimum, cover one full week so day-of-week effects average out. Don't extend a test indefinitely 'until it turns significant' either; that inflates false positives.

Should I use a one-tailed or two-tailed test?

Two-tailed is the safer default and matches how most decisions actually work: you want to know if the variant is better OR worse, not just better. Use one-tailed only when you have a strong directional hypothesis decided before the test starts and would not act on a loss the other direction. The p-value is roughly half the two-tailed value when the effect is positive.

Can I peek at the results and stop early?

Not with a fixed-horizon test like this one. Repeated peeking at a 95% threshold can inflate the real false-positive rate to 20% or higher. If you need to stop early, use a sequential testing method (group sequential designs, mSPRT, Bayesian decision rules) that explicitly accounts for multiple looks at the data.

Kalkulator Signifikansi Uji A/B

📋

Panduan langkah demi langkah

Cara menggunakan kalkulator ini

3 langkah

1

Masukkan kedua varian

Pada tab Signifikansi, masukkan pengunjung dan konversi untuk Kontrol (A) dan Varian (B). Pilih tingkat kepercayaan (95% adalah default pemasaran) dan pilih dua sisi (Varian bisa menang atau kalah) atau satu sisi (Anda hanya peduli jika Varian menang).

2

Baca putusannya

Kartu hasil menampilkan putusan (Signifikan / Tidak signifikan), nilai p, skor z, dan interval kepercayaan untuk perbedaan tingkat konversi. Bagan berarsir menunjukkan penurunan skor-z Anda relatif terhadap wilayah penolakan untuk keyakinan yang dipilih.

3

Rencanakan tes di masa depan

Gunakan Perencana Ukuran Sampel untuk mengetahui berapa banyak pengunjung per varian yang Anda butuhkan agar dapat mendeteksi peningkatan tertentu dengan andal, lalu tab Durasi Pengujian menerjemahkan sampel tersebut menjadi jumlah hari pada tingkat lalu lintas Anda saat ini (pembagian 50/50).

⚡

Referensi

Rumus dan metodologi

3 rumus

Uji-z dua proporsi yang dikumpulkan

z = (p2 − p1) / sqrt( p̄(1−p̄) · (1/n1 + 1/n2) )

p1 dan p2 adalah rasio konversi kontrol dan varian, n1 dan n2 adalah jumlah pengunjung, dan p̄ = (konversi1 + konversi2) / (n1 + n2) adalah rasio gabungan berdasarkan hipotesis nol bahwa kedua varian memiliki rasio sebenarnya yang sama.

Nilai P dari standar normal

p = 2 · (1 − Φ(|z|)) (two-tailed) or p = 1 − Φ(z) (one-tailed)

Φ adalah CDF normal standar. Kami memperkirakannya dengan Abramowitz & Stegun 7.1.26 (kesalahan maksimal 1.5e-7), dan menggunakan perkiraan rasional Acklam untuk CDF terbalik yang digunakan dalam penghitungan nilai kritis dan ukuran sampel.

Ukuran sampel yang diperlukan per varian

n = (z_α + z_β)² · 2 · p̄ · (1 − p̄) / (p2 − p1)²

z_α adalah nilai kritis untuk keyakinan yang dipilih (1,96 untuk 95% dua sisi) dan z_β adalah nilai kritis untuk daya yang dipilih (0,84 untuk 80%). p̄ adalah rata-rata tingkat konversi dasar dan target; targetnya sama dengan garis dasar × (1 + MDE).

📖

Glosarium

Penjelasan istilah penting

7 istilah

Kemungkinan mengamati perbedaan setidaknya sebesar perbedaan Anda jika kedua varian benar-benar berkonversi pada tingkat yang sama. Nilai p yang lebih kecil berarti bukti yang lebih kuat bahwa variannya berbeda.

Jumlah kesalahan standar yang memisahkan dua tingkat konversi yang diamati. A z sebesar 1,96 setara dengan p ≈ 0,05 pada uji dua sisi; 2,58 sesuai dengan p ≈ 0,01.

Hasilnya memenuhi ambang batas yang dipilih (misalnya p <0,05 pada tingkat kepercayaan 95%). Ini hanyalah pernyataan probabilitas, bukan jaminan bahwa varian tersebut benar-benar lebih baik.

Peningkatan relatif terkecil yang Anda inginkan agar dapat dideteksi oleh pengujian. MDE 10% pada baseline 5% berarti Anda ingin mendapatkan peningkatan hingga 5,5% atau lebih baik.

Kemungkinan mendeteksi efek nyata dari ukuran yang ditentukan oleh MDE Anda. 80% adalah konvensi pemasaran; tes yang kurang bertenaga kehilangan kemenangan nyata.

Kisaran nilai yang masuk akal untuk perbedaan sebenarnya (p2 − p1), dinyatakan dalam poin persentase. Interval yang lebih sempit berarti perkiraan yang lebih tepat.

Pengujian dua sisi memperlakukan kekalahan dan kemenangan secara simetris dan merupakan standar yang aman. Tes satu sisi hanya menguji kemenangan dalam satu arah — gunakan dengan hemat, dan putuskan arah sebelum tes dimulai.

👥

Skenario

Contoh dalam kehidupan nyata

2 contoh nyata

🎯

Desain ulang halaman arahan

Hasil signifikan pada 95%

Kontrol pengunjung 5,000 Kontrol konversi 250 Pengunjung varian 5,000 Konversi varian 300 Keyakinan 95% dua sisi

Kontrol konversi sebesar 5,00%, varian sebesar 6,00% — peningkatan relatif sebesar 20%. Z yang dikumpulkan adalah 2,19 dengan p ≈ 0,0283, yang melewati ambang batas 95%. Anda dapat mengirimkan varian tersebut, namun ambang batas kepercayaan 99% masih akan menolak hasil ini, jadi pengujian konfirmasi lanjutan adalah hal yang wajar.

⚠️

Email CTA — kurang bertenaga

Tidak signifikan — sampel kecil

Kontrol pengunjung 1,000 Kontrol konversi 50 Pengunjung varian 1,000 Konversi varian 55 Keyakinan 95% dua sisi

Peningkatan relatif sebesar 10% terlihat nyata, namun dengan hanya 1.000 pengunjung per kelompok, pengujian ini kurang bertenaga: p ≈ 0,59 dan interval kepercayaan untuk perbedaannya mendekati nol. Perencana Ukuran Sampel menunjukkan bahwa Anda memerlukan sekitar 30.000 pengunjung per varian agar dapat secara andal memperoleh peningkatan 10% dari garis dasar 5% pada 95%/80% — terus jalankan pengujian.

🔗

Referensi

Sitasi kalkulator ini

APA & MLA

Gunakan salah satu format ini untuk menyitasi kalkulator dalam makalah, laporan, atau daftar sumber.

APA

MLA

📄

Ulasan mendalam

Memahami Kalkulator Signifikansi Uji A/B

3 bab · 4 menit membaca

Pengujian A/B menimbulkan pertanyaan — apakah perubahan ini mengubah metrik? — menjadi uji hipotesis. Kalkulator ini menjalankan uji z dua proporsi pada tingkat konversi kontrol dan varian Anda, lalu membantu Anda merencanakan pengujian di masa mendatang dengan menghitung ukuran sampel dan durasi pengujian yang diperlukan. Ini dimaksudkan untuk pemasar, insinyur pertumbuhan, dan manajer produk yang membandingkan tingkat konversi pada halaman arahan, formulir pendaftaran, CTA email, alur pembayaran, dan pengujian terpisah serupa.

Cara kerja pengujian signifikansi

Kami memulai dengan mengasumsikan kedua varian memiliki rasio konversi sebenarnya yang sama (hipotesis nol) dan menanyakan seberapa kecil kemungkinan perbedaan yang Anda amati berdasarkan asumsi tersebut. z-score yang dikumpulkan mengukur berapa banyak kesalahan standar yang memisahkan dua tingkat pengamatan; nilai p mengonversi z tersebut menjadi probabilitas melalui CDF normal standar.

Nilai p yang kecil (misalnya di bawah 0,05) berarti: jika kedua varian benar-benar dikonversi dengan laju yang sama, Anda akan melihat perbedaan sebesar atau lebih besar secara kebetulan dalam waktu kurang dari 5%. Itulah ambang batas yang kami sebut signifikansi statistik sebesar 95%. Bagan di tab kalkulator memberi warna pada wilayah penolakan untuk tingkat keyakinan yang Anda pilih dan menandai titik jatuhnya z yang Anda amati.

Input yang memindahkan hasilnya

Ukuran sampel adalah faktor terbesar. Menggandakan pengunjung kira-kira mengurangi separuh kesalahan standar, mempertajam interval kepercayaan, dan membuat peningkatan kecil dapat terdeteksi. Ukuran efek juga penting — peningkatan relatif sebesar 50% memerlukan lalu lintas yang jauh lebih sedikit dibandingkan peningkatan sebesar 5%. Tingkat kepercayaan mengorbankan kesalahan Tipe I (positif palsu): 95% adalah default pemasaran, 99% sesuai bila biaya pengiriman varian buruk tinggi. Pilihan ekor jarang mengubah keputusan bisnis — tetaplah dua sisi kecuali Anda memiliki hipotesis arah yang telah didaftarkan sebelumnya.

Jebakan dan batasan

Satu-satunya kesalahan terbesar dalam pengujian A/B adalah mengintip — memeriksa nilai p setiap hari dan berhenti segera setelah melewati 0,05. Hal ini meningkatkan angka positif palsu secara dramatis. Jalankan pengujian selama durasi yang dikembalikan oleh Perencana Ukuran Sampel, lalu periksa sekali. Beberapa varian (pengujian A/B/C/n) memerlukan koreksi beberapa perbandingan (Bonferroni, Holm) atau Anda akan melihat pemenang palsu. Efek kebaruan dan keutamaan dapat mengubah metrik pada minggu pertama namun menghilang pada minggu ketiga; siklus mingguan dalam lalu lintas berarti pengujian yang lebih pendek dari seminggu penuh sering kali kehilangan pola sebenarnya. Terakhir, kalkulator ini menggunakan perkiraan normal — untuk sampel yang sangat kecil (n < 30 konversi per varian) atau tingkat ekstrim (< 1% atau > 99%), lebih memilih pengujian eksak seperti Fisher.

❓

Pertanyaan

Pertanyaan umum

5 pertanyaan

Bagaimana cara menghitung signifikansi pengujian A/B?+

Gunakan uji z dua proporsi. Hitung tingkat konversi setiap varian, gabungkan semuanya berdasarkan hipotesis nol, dan bagi selisihnya dengan kesalahan standar yang dikumpulkan untuk mendapatkan skor-z. Ubah z menjadi nilai p melalui CDF normal standar. p dibawah 0,05 berarti signifikan pada taraf 95%. Kalkulator ini melakukan semua itu untuk Anda.

Berapa nilai p yang dianggap signifikan secara statistik?+

Konvensinya adalah p <0,05 (keyakinan 95%) untuk eksperimen pemasaran dan p <0,01 (99%) untuk keputusan berisiko tinggi. Keduanya merupakan ambang batas yang sewenang-wenang – 0,049 dan 0,051 pada dasarnya memiliki bukti yang sama. Pra-daftarkan ambang batas Anda dan durasi tes sebelum Anda mulai mengumpulkan data.

Berapa lama saya harus menjalankan pengujian A/B?+

Jalankan selama durasi Sample Size Planner kembali — biasanya 1 hingga 4 minggu untuk lalu lintas web biasa — dan tahan keinginan untuk mengintip dan berhenti lebih awal. Minimal, mencakup satu minggu penuh sehingga efek harian dalam seminggu rata-rata keluar. Jangan memperpanjang pengujian tanpa batas waktu 'sampai hasilnya signifikan'; yang meningkatkan positif palsu.

Haruskah saya menggunakan pengujian satu sisi atau dua sisi?+

Dua sisi adalah default yang lebih aman dan cocok dengan cara kerja sebagian besar keputusan: Anda ingin tahu apakah variannya lebih baik ATAU lebih buruk, bukan hanya lebih baik. Gunakan satu sisi hanya jika Anda memiliki hipotesis arah yang kuat yang telah diputuskan sebelum pengujian dimulai dan tidak akan mengambil tindakan jika terjadi kerugian pada arah yang lain. Nilai p kira-kira setengah dari nilai dua sisi jika pengaruhnya positif.

Bisakah saya mengintip hasilnya dan berhenti lebih awal?+

Tidak dengan pengujian cakrawala tetap seperti ini. Mengintip berulang kali pada ambang batas 95% dapat meningkatkan tingkat positif palsu hingga 20% atau lebih tinggi. Jika Anda perlu berhenti lebih awal, gunakan metode pengujian sekuensial (desain sekuensial grup, mSPRT, aturan keputusan Bayesian) yang secara eksplisit memperhitungkan beberapa tampilan data.

Unduh PDF satu halaman berisi hasil Anda. Masukkan alamat email untuk menerima kiat kalkulator sesekali. Tanpa spam, dan Anda dapat berhenti berlangganan kapan saja. Privasi.

Kalkulator Signifikansi Uji A/B

Hasil Tes

Kontrol (A)

Varian (B)

Hasil

Wilayah Distribusi & Penolakan

Input Ukuran Sampel

Sampel yang Diperlukan

Masukan Lalu Lintas

Durasi Tes

Cara menggunakan kalkulator ini

Masukkan kedua varian

Baca putusannya

Rencanakan tes di masa depan

Rumus dan metodologi

Penjelasan istilah penting

Contoh dalam kehidupan nyata

Desain ulang halaman arahan

Email CTA — kurang bertenaga

Sitasi kalkulator ini

Memahami Kalkulator Signifikansi Uji A/B

Cara kerja pengujian signifikansi

Input yang memindahkan hasilnya

Jebakan dan batasan

Pertanyaan umum

Dapatkan PDF hasil dengan merek Calculover

Kalkulator Signifikansi Uji A/B

Hasil Tes

Kontrol (A)

Varian (B)

Hasil

Wilayah Distribusi & Penolakan

Input Ukuran Sampel

Sampel yang Diperlukan

Masukan Lalu Lintas

Durasi Tes

Cara menggunakan kalkulator ini

Masukkan kedua varian

Baca putusannya

Rencanakan tes di masa depan

Rumus dan metodologi

Penjelasan istilah penting

Contoh dalam kehidupan nyata

Sitasi kalkulator ini

Memahami Kalkulator Signifikansi Uji A/B

Cara kerja pengujian signifikansi

Input yang memindahkan hasilnya

Jebakan dan batasan

Pertanyaan umum

Dapatkan PDF hasil dengan merek Calculover

Jelajahi lebih lanjut

kalkulator terkait

Panduan & artikel