Kolayda ve Olasılıklı Örnekleme: UX Araştırmasında Hangisi Ne Zaman

Örnekleme yöntemi seçimi, araştırma raporunun en az okunan ama sonucu en çok belirleyen satırı. Kolayda örneklemeyle toplanan veriyle olasılıklı örneklemeyle toplanan veri aynı grafiğe dönüşüyor, aynı toplantıda sunuluyor, aynı kararı doğuruyor. Aradaki fark grafikte görünmüyor, yöntemde duruyor.

Tek fark: seçilme olasılığı biliniyor mu

Kolayda örnekleme, ulaşabildiğiniz kişiyi alır. Ofisteki ekip, Slack kanalındaki gönüllüler, siteye o hafta uğrayan ziyaretçiler. Olasılıklı örneklemede ise hedef kitledeki her bireyin seçilme olasılığı önceden bilinir ve sıfırdan büyüktür; basit rastgele seçim, sistematik seçim, katmanlı ve küme örnekleme bu ailenin yöntemleri.

Tanımın "önceden bilinir" kısmı kulağa teknik bir ayrıntı gibi geliyor, oysa bütün mesele orada. Seçilme olasılığını bilmiyorsanız yanlılığın yönünü de büyüklüğünü de kestiremezsiniz. Elinizde yalnızca bir sayı kalır, o sayının kimi temsil ettiğine dair bir iddia kalmaz.

Rastgele dediğiniz örneklemin çoğu rastgele değil

Olasılıklı örnekleme bir örnekleme çerçevesi ister: popülasyonun sayılabilir, erişilebilir listesi. Pratikte bunun karşılığı, kullanıcı tablosunda çalıştırabildiğiniz bir sorgu. Hedef kitlenizi tanımlayan WHERE koşulunu yazamıyorsanız olasılıklı örnekleme yapmıyorsunuz, yapıyormuş gibi rapor ediyorsunuz.

Siteye açılan anketler bunun en yaygın hali. Ankete rastgele ziyaretçi düşüyor olabilir, ama o hafta siteye hiç gelmeyen kullanıcının seçilme olasılığı sıfır. Sıfır olasılıklı bir grup varken örneklem olasılıklı sayılmaz; siteye uğrayanlar arasında rastgele seçim yapmış olursunuz, o kadar. Terk etmiş kullanıcıyı, ayda bir giren kullanıcıyı, kaydolup hiç kullanmayanı sistematik olarak dışarıda bırakırsınız ve tam da bu gruplar hakkında en çok merak edilen soruları cevapsız bırakırsınız.

Katmanlı örneklemenin temsili garantilediği iddiası da fazla iyimser. Katman oranlarını popülasyonda doğru bildiğiniz ölçüde çalışır. Oranları tahminle doldurduysanız yanlılığı yok etmediniz, sadece görünmez hale getirdiniz.

Beş kullanıcı kuralı hangi varsayımın üstünde duruyor

Nitel testlerde beş katılımcının yettiği fikri Nielsen ve Landauer'in modelinden geliyor: bir katılımcının belirli bir sorunu bulma olasılığı L ise, n katılımcıyla bulunan sorun oranı 1-(1-L)^n. L=0,31 ile beş katılımcı sorunların yaklaşık %85'ini ortaya çıkarır. Rakam doğru, ama modelin iki varsayımı var: kullanıcılar tek ve homojen bir grup, her sorunun bulunma olasılığı aynı.

Kolayda örnekleme tam olarak bu varsayımı bozar. Beş kişinin beşi de aynı segmentten geliyorsa, o segmentin görmediği sorun kaç kişi eklerseniz ekleyin görünmez; formül %85 der, gerçekte o segmentin sorunlarının %85'ini bulmuşsunuzdur. Yöntemin sınırını değiştiren şey katılımcı sayısı değil, katılımcıların hangi kutulardan geldiği. Farklı iki kullanıcı tipiniz varsa beş değil, her tip için ayrı ayrı düşünmeniz gerekir.

Sayı iddiası varsa yanlılık pazarlık konusu değil

Ayrım, yöntemin adında değil kurulan cümlede. "Kullanıcılar ödeme adımında zorlanıyor" cümlesi için kolayda toplanmış beş oturum fazlasıyla yeterlidir. "Kullanıcıların %62'si ödeme adımında zorlanıyor" cümlesi için değildir; bu cümle bir popülasyon iddiasıdır ve arkasında seçilme olasılığı bilinen bir örneklem ister.

Yüzde yazmak istiyorsanız ya çerçeveden rastgele seçim yapın ya da segment ağırlıklandırması uygulayın. İkisini de yapamıyorsanız yüzdeyi rapordan çıkarın, bulguyu nitel cümleyle bırakın. Kolayda toplanmış veriye eklenen yüzde işareti, veriyi olduğundan güçlü gösterir ve karar alan kişi o güveni sizden değil rakamdan devralır.

Pratikte ne yapmalı

Erken aşamada kolayda örnekleme doğru tercih. Prototipin akışı tutuyor mu, etiketler anlaşılıyor mu, kritik adımda kimse kayboluyor mu; bunları öğrenmek için erişilebilir katılımcı yeterli ve hızlı. Yatırım kararı, fiyatlandırma, pazara giriş gibi geri dönüşü pahalı konularda ise kolayda örneklem yanlış temel kurar.

Katılımcıyı kendi çevrenizden topladıysanız bunu raporun dipnotuna değil ilk paragrafına yazın; kimden ne öğrendiğinizi okuyucunun tahmin etmesini beklemeyin. Beş katılımcının hangi segmentten geldiği, hangi grupların hiç temsil edilmediği ve bulgunun hangi kullanıcı tipi için geçerli olduğu tek cümleyle yazılabilir. O cümle olmadığında rapor, kendisinden fazlasını iddia etmiş olur.

Hibrit kurulum çoğu ekip için gerçekçi orta yol: keşfi kolayda örneklemeyle yapın, ortaya çıkan hipotezi ürün içinde ölçün. Ürün içi ölçüm de kusursuz bir çerçeve vermez, ama en azından kimin dahil olmadığını sorgulanabilir hale getirir.