Memahami Pengangkatan dalam Pengujian A/B

1. Apa yang diangkat dalam pengujian ab?
2. Bagaimana Anda menghitung lift pada tes?
3. Apa tingkat kepercayaan tes A B memberi tahu Anda?

Apa yang diangkat dalam pengujian ab?

Pengangkatan: Perbedaan antara kinerja variasi dan kinerja variasi baseline (biasanya kelompok kontrol). Misalnya, jika satu variasi memiliki pendapatan per pengguna $ 5, dan kontrol memiliki pendapatan per pengguna $ 4, peningkatannya adalah 25%.

Bagaimana Anda menghitung lift pada tes?

Lift dihitung dengan mengambil perbedaan antara tingkat konversi pengobatan dan tingkat konversi kontrol dibagi dengan tingkat konversi kontrol. Hasilnya adalah perbedaan persentase relatif dari pengobatan dibandingkan dengan kontrol.

Apa tingkat kepercayaan tes A B memberi tahu Anda?

Biasanya, orang menyetujui α = 5%, sehingga tingkat kepercayaan, yang dihitung sebagai 1-α, adalah 95%. Dengan demikian, tingkat kepercayaan (1-α) adalah probabilitas tidak mendapatkan kesalahan tipe I (α). Ini adalah persentase kepercayaan dalam hasil jika tes menunjukkan bahwa varian A dan B tidak berbeda.