Kart Sıralama Testi Kaç Kullanıcıyla Yapılır?

Kart sıralama testinde katılımcı sayısı için dolaşan tek bir rakam var: 15. Bu sayının bir kaynağı ve bir geçerlilik alanı var, ikisi de genelde birlikte aktarılmıyor. Kart sayısı hesaba katılmadığında aynı rakam 30 kartlık bir sette makul, 80 kartlık bir sette yanıltıcı oluyor.

15 rakamı nereden geliyor

Rakamın kaynağı Jakob Nielsen'in 2004 tarihli analizi. Nielsen elindeki kart sıralama verisinde katılımcı sayısını kademeli artırıp her aşamada çıkan yapının tam veri setiyle ne kadar örtüştüğüne bakıyor. 15 katılımcıda korelasyon 0,90'a ulaşıyor, 30 katılımcıda 0,95'e çıkıyor. Yani ikinci 15 kişi maliyeti ikiye katlıyor, örtüşmeyi 0,05 artırıyor.

Buradaki korelasyonun ne ölçtüğüne dikkat et. Ölçtüğü şey doğruluk değil, yakınsama: 15 kişiyle çıkan gruplama, aynı testi çok daha fazla kişiyle yapsan çıkacak gruplamaya yakındır. Katılımcı kitlesi baştan yanlış seçilmişse 15 kişi de 50 kişi de aynı yanlış yapıya yakınsar, tek fark ikincisine daha çok para ödemiş olman.

Kart sayısı denklemin dışında bırakılınca

15 kuralının en zayıf yeri, kaç kart sıraladığını hiç sormaması. Oysa kartlar arttıkça olası gruplama sayısı çok hızlı büyüyor. Bir kümenin kaç farklı şekilde bölünebileceğini Bell sayıları verir: 10 kart için 115.975 farklı gruplama mümkün, 15 kart için bu sayı 1,38 milyarı geçiyor.

Pratikte insanlar bu olasılıkların hepsini gezmez, birkaç bariz kümede toplanırlar. Ama açık sıralamada 60 ya da 80 kart verdiğinde katılımcılar arasındaki dağılım gözle görülür biçimde artar, sabit 15 kişiyle o dağılımın kuyruğunu göremezsin. Kaba bir çalışma kuralı olarak: 30 karta kadar 15 kişi iş görür, 30 ile 60 arasında 20 kişiye çık, 60 kartın üstünde önce kart setini bölmeyi düşün. Kart setini bölmek katılımcı eklemekten hem ucuz hem de daha temiz veri verir, çünkü 45 dakikayı geçen bir sıralama seansında katılımcı yorulur ve kalan kartları rastgele bir yere atmaya başlar.

Açık mı, kapalı mı

Açık sıralamada katılımcı grupları kendi oluşturur ve kendi adlandırır. Kapalı sıralamada kategoriler önceden verilir, katılımcı sadece yerleştirir. İkisi farklı soruların cevabıdır ve farklı katılımcı sayısı ister.

• Yeni bir yapı kuruyorsan açık sıralama, ve üst sınırdan katılımcı sayısı. Çeşitlilik burada gürültü değil, veri.
• Var olan menüyü sınıyorsan kapalı sıralama. Serbestlik derecesi düşük olduğu için sonuçlar daha erken stabilleşir, 10 ile 12 kişi çoğu zaman yeter.

Aynı turda ikisini karıştırma. Kategori adlarını gördükten sonra katılımcının kendi kafasındaki gruplama geri gelmez.

Sonuçları okurken nereye bakmalı

Standart çıktı bir benzerlik matrisi ve ondan türetilen dendrogramdır. Matris, iki kartın kaç katılımcı tarafından aynı gruba konduğunu gösterir; dendrogram bunu ağaç halinde çizer. Ağacı nereden keseceğin ise veriden çıkmaz, senin kararındır, ve raporlarda bu karar çoğu zaman hiç yazılmaz.

En çok bilgi taşıyan kartlar, herkesin aynı yere koyduğu kartlar değil. Katılımcıların ikiye üçe bölündüğü kartlara bak. Orada genelde iki şeyden biri vardır: kart başlığı belirsizdir, ya da o içerik gerçekten iki kategoriye birden aittir. Birincisi isimlendirme sorunudur ve başlığı düzeltip yeniden test edersin. İkincisi mimari sorunudur, çapraz bağlantı ya da etiketleme ister.

Test bittiğinde elinde ne var, ne yok

Kart sıralama, insanların içeriği nasıl gruplandırdığını söyler. Aradıkları şeyi kurduğun menüde bulup bulamayacaklarını söylemez. O ayrı bir test, ağaç testi, ve kart sıralamadan çıkan yapıyı menüye taşımadan önce yapılması gereken de budur.

Bir e-ticaret projesinde kart sıralamadan çıkan kategori ağacını olduğu gibi menüye taşıdık, üç ay sonra kampanya ekibi kendi ihtiyacı için o ağacı yeniden böldü. Bilgi mimarisinin sahibi tek bir ekip değildir ve kart sıralama sadece kullanıcı tarafını temsil eder. İkinci turu menüyü kodlamadan önce yapmanın somut bir gerekçesi de var: kategori değişikliği URL yapısını ve yönlendirme tablosunu etkiler, canlıdaki bir ağacı yeniden bölmek testi tekrarlamaktan çok daha pahalıya gelir.