A/B Testinde En Sık Yapılan Hata

Reklam hesaplarında "test ediyoruz" denen şeyin büyük kısmı aslında test değildir. İki reklam aynı anda yayına alınır, biri daha iyi sonuç verir, o kazanan ilan edilir — ama iki reklam arasında üç ayrı fark vardır. Hangisinin fark yarattığı bilinmez.

Tek değişken kuralı

Geçerli bir testte iki varyant arasında yalnızca bir fark olmalıdır: sadece görsel, sadece başlık, sadece teklif. İki şey birden değişirse sonuç bir şey öğretmez; sadece o kombinasyonun bu kez daha iyi olduğunu söyler.

Yeterli veri olmadan karar vermek

İki günlük veriyle "bu kreatif kazandı" demek, yazı tura atıp birinci sonucu kural sanmaya benzer. Dönüşüm sayısı düşükken görülen farklar çoğunlukla rastlantıdır. Karar vermeden önce her varyantın anlamlı sayıda dönüşüm üretmesini beklemek gerekir.

Aynı anda çok fazla varyant

Beş varyantı aynı bütçeyle test etmek, her birine yeterli veri düşmemesi demektir. Sonuçta hiçbiri hakkında güvenilir bir şey öğrenilemez. Az sayıda varyantla başlayıp net sonuç aldıkça yenisini eklemek daha hızlı ilerletir.

Kaybeden de bilgidir

Testin amacı kazananı bulmak kadar, nelerin çalışmadığını öğrenmektir. Kaybeden varyantları not etmeyen ekipler aynı fikri birkaç ay sonra tekrar dener. Test kayıtları tutulmadığında her test sıfırdan başlar.