Ujian A/B adalah seperti peta untuk pemandu. Tetapi kadangkala peta yang paling tepat pun tidak berguna: tiada jalan, penyemak imbas tersekat, atau anda hanya tersalah pusing. Begitu juga dengan ujian. Semua orang bercakap tentang cara ujian A/B meningkatkan penukaran, mengurangkan CAC dan menjimatkan belanjawan. Tetapi apabila data tidak sepadan, hasilnya tidak konsisten, dan pasukan mula mengesyaki mereka membazir seminggu menukar warna butang, apa yang anda lakukan?
Mari cuba fahami mengapa ujian A/B kadangkala tidak berkesan, bila patut mempercayai gerak hati anda, dan bila lebih baik untuk menghentikan percubaan dan mulakan semula.
Anda mempercayai nombor, tetapi mereka mengecewakan anda.
Ujian A/B melibatkan mengubah pembolehubah dan memerhati kesannya ke atas hasilnya. Tetapi dalam amalan, ia tidak semudah itu.
1. Saiz sampel tidak mencukupi
Anda menjalankan ujian dan mendapat 80 klik pada pilihan A dan 90 klik pada pilihan B. Anda ingin menuntut bahawa pilihan B adalah lebih baik. Tetapi jangan tergesa-gesa melakukannya. Jilid sedemikian tidak membenarkan anda bercakap tentang hasil yang signifikan secara statistik. Ambang minimum ialah beribu-ribu paparan atau berpuluh-puluh penukaran untuk setiap pilihan. Tanpa ini, ia bukan ujian A/B, tetapi ramalan nasib di atas serbuk kopi.
Penyelesaian: Gunakan kalkulator kepentingan statistik dalam talian. Tanpa pengesahan matematik, anggap ujian itu tidak sah.
2. Kami menguji semuanya pada masa yang sama
Mereka menukar butang, tajuk, latar belakang dan URL. Pilihan B "menang", tetapi elemen manakah yang berfungsi? awak tak tahu.
Penyelesaian: satu ujian, satu perubahan. Sudah tentu, ia memerlukan lebih banyak masa. Tetapi data ini boleh dipercayai.
3. Faktor bermusim atau luaran
Trafik anda telah meningkat dan penukaran anda telah meroket. Tetapi sebenarnya, ia adalah Black Friday, atau produk baharu baru sahaja dikeluarkan. Ujian sedang dijalankan, tetapi keadaan tidak lagi sama seperti semasa ia bermula.
Penyelesaian: Beri perhatian kepada konteks. Ujian A/B tidak berlaku dalam vakum. Kempen selari, siaran akhbar, pepijat kod - apa sahaja boleh menjejaskan keputusan.
apabila intuisi menang
Ujian A/B ialah alat yang berkuasa, tetapi ia bukan satu-satunya alat. Kepakaran produk, pengalaman dan pengetahuan khalayak anda juga boleh memberikan penyelesaian. Kadangkala adalah lebih baik untuk bertaruh pada hipotesis yang berani daripada menghabiskan berminggu-minggu memikirkan sama ada butang "Cuba Sekarang" atau "Mulakan Secara Percuma" adalah lebih berkesan.
Contoh: Reka bentuk semula perkhidmatan
Pasukan sedang menguji konsep visual baharu: antara muka yang lebih ringan, unsur yang lebih sedikit dan lebih banyak ruang. Ujian A/B menunjukkan bahawa versi lama menukar 2% lebih banyak. Tetapi reka bentuk baharu lebih berskala, memberikan pengalaman pengguna yang lebih baik dan mengekalkan pengguna lebih lama.
Intuisi di sini mencadangkan tumpuan bukan sahaja pada penukaran jangka pendek, tetapi juga pada nilai jangka panjang.
Apabila ujian A/B tidak semestinya diperlukan
Ujian A/B tidak selalunya sesuai. Kadang-kadang, daripada mendapat manfaat daripadanya, anda membuang masa dan sumber, dan membuat kesimpulan yang salah. Dalam kes ini, adalah bijak untuk berhenti dan dengan jujur bertanya kepada diri sendiri: "Adakah kita menguji apa yang benar-benar relevan?" Berikut ialah beberapa contoh biasa yang ujian A/B boleh ditangguhkan dengan selamat.
Trafik yang sangat sedikit
Ujian A/B memerlukan pensampelan statistik, yang hanya dibuat apabila bilangan pengguna mencukupi. Jika halaman pendaratan anda menerima 50 pelawat unik setiap minggu, ia akan mengambil masa berbulan-bulan untuk mengumpulkan walaupun jumlah minimum data bermakna. Dalam kes ini, adalah lebih berkesan untuk memberi tumpuan kepada kaedah kualitatif: temu bual mendalam, maklum balas pelanggan sebenar, sesi kebolehgunaan atau analisis tingkah laku (seperti Hotjar atau Clarity).
Ralat yang jelas dalam antara muka atau logik
Jika borang tidak diserahkan, butang "Buat pesanan" tidak tersedia atau kandungan tiada dalam versi mudah alih, ini bukan isu untuk ujian A/B. Tidak ada gunanya membandingkan dua pilihan; anda perlu membetulkan ralat dengan segera. Tiada perubahan teks atau warna boleh mengimbangi pepijat yang memperlahankan penukaran.
Sudah ada penyelesaian yang terbukti
Adakah anda mempunyai promosi Black Friday tahun lepas yang berkesan? Adakah terdapat halaman pendaratan yang menukar secara konsisten pada 12%? Tidak semestinya bijak untuk menguji pilihan baharu hanya untuk percubaan. Dalam senario statik di mana hanya konteks atau tarikh berubah, selalunya lebih baik untuk kekal dengan pilihan yang terbukti berkesan daripada mempertaruhkan pilihan baharu.
Perubahan sangat kecil
Adakah anda menukar fon sebanyak satu piksel? Gerakkan ikon 3mm ke kiri? Perubahan ini jarang menjejaskan tingkah laku pengguna yang cukup untuk membuat perbezaan yang ketara. Anda akan mendapat metrik yang sama, tetapi anda perlu menghabiskan masa seminggu untuk menguji dan tiga lagi mentafsir. Fokus pada elemen yang benar-benar boleh mengubah tingkah laku: logik halaman, struktur, pemesejan teras dan keamatan CTA.
Apabila keputusan bukan terpulang kepada pengguna
Sebagai contoh, jika anda menguji dua versi halaman dengan fungsi yang sama, tetapi salah satu daripadanya dihoskan pada perkhidmatan yang lebih perlahan atau tidak tersedia di wilayah tertentu, penukaran mungkin berkurangan bukan disebabkan oleh kreativiti atau pengalaman pengguna, tetapi disebabkan faktor di luar kawalan pengguna. Ini boleh menyebabkan salah tafsir data.
Ujian A/B bukanlah ubat penawar. Ia hanya berfungsi apabila terdapat trafik yang mencukupi, hipotesis yang jelas dan persekitaran yang stabil. Dalam kes lain, adalah lebih baik untuk melibatkan pemikiran analitikal, mengumpul maklum balas yang berkualiti, dan bergantung pada akal sehat.
Alat tidak menjamin hasil
Walaupun anda menggunakan sistem analitis yang terbaik, perkhidmatan seperti Google Optimize, VWO, Optimizely atau pautan pendek dengan analitik bersepadu, kesilapan masih boleh berlaku. Ujian adalah kaedah, bukan tongkat ajaib.
Tiada ujian A/B berfungsi tanpa tafsiran keputusan yang betul. Jika pemasar, penganalisis atau pengurus produk tidak memahami maksud nombor ini, sebaiknya hentikan percubaan.
kesimpulan
Ujian A/B ialah alat yang hebat, tetapi ia hanya berfungsi dalam keadaan tertentu. Intuisi, pengalaman, dan kesedaran produk tidak boleh diabaikan. Ia bukan pengganti nombor, tetapi ia membantu anda memahaminya dengan betul.
Jangan uji apabila tiada trafik, apabila konteks berubah atau apabila perubahan jelas. Ingat bahawa ujian A/B bukanlah proses yang berasingan. Ia adalah sebahagian daripada pemikiran strategik. Apabila ada sesuatu untuk diuji, uji. Apabila anda mempunyai sesuatu untuk bergantung, percayai intuisi anda. Dan sentiasa menganalisis konteks. Kemudian nombor akan konsisten.
