Kullanıcı Testlerinde Lokasyon Ne Zaman Fark Eder?

Kullanılabilirlik testi planlarken ilk sorulan şeylerden biri testin hangi şehirde yapılacağı. Yaygın cevap "fark etmez" ve çoğu projede doğru çıkıyor, ama gerekçesi genelde yanlış kuruluyor. Şehir kendi başına bir değişken değil; ağ hızı, cihaz profili, kullanıcının rolü gibi değişkenlerin vekili. Vekilin yerine asıl değişkeni test ettiğinde soru kendiliğinden kapanıyor.

Şehir değil, bağlam

Kullanılabilirlik testi davranışı ölçer: kullanıcı aradığını bulabiliyor mu, formu tamamlayabiliyor mu, nerede duraksıyor. İstanbul'daki kullanıcı da İzmir'deki de aynı arama kutusuyla aynı şekilde boğuşur, çünkü boğuşmanın kaynağı arayüzün kendisi. Pazar araştırmasıyla karıştırıldığı yer burası; tutum ve tercih bölgeden bölgeye gerçekten değişir, tıklama davranışı pek değişmez.

Yine de "lokasyon fark etmez" cümlesi fazla rahat. Bu cümleyi kuran metinler bile istisna listesine kurum içi sistemleri yazar: intranet hem merkez ofiste hem saha ofisinde test edilmeli. Oradaki fark şehirden gelmiyor, işin kendisinden geliyor. Saha çalışanı sistemi telefondan, ayakta, dalgalı bir bağlantıyla kullanıyor. Aynı kişiyi merkeze oturtsan davranışı değişirdi. Test edilmesi gereken şey ikinci şehir değil, ikinci kullanım koşulu.

Cihaz ve ağ, laboratuvarda kaybolur

Kendi ofisinde, kendi monitöründe, fiber bağlantıyla yaptığın testte ürünün yavaşlığı görünmez. Gerçek kullanıcının elinde üç yaşında bir Android ve şehir dışına çıkınca düşen bir mobil veri bağlantısı var. Bu, farklı şehirlerde test yapmanın gerekçesi gibi okunur ama değildir, çünkü ölçmek için yola çıkmak gerekmiyor: tarayıcının geliştirici araçlarından ağı yavaş 3G'ye kısar, elindeki en zayıf cihazla aynı senaryoyu tekrarlarsın. "Başka şehirde başka çıkar" diye düşündüğün farkın büyük kısmı o turda ortaya çıkar.

Katılımcıyı şehirlere bölmek örneklemi zayıflatır

Nielsen'in meşhur "beş kullanıcı yeter" savı tek ve homojen bir grup için kurulmuştur: benzer profilden beş kişi, sorunların büyük bölümünü ilk turda yüzeye çıkarır. Bu sav şehirlere bölünerek uygulanmaz. On iki kişilik bir katılımcı bütçesini üç şehre dağıtırsan her şehir için dört kişilik bir gözlemin olur; Ankara'da üç kişinin takıldığı yerde İzmir'de bir kişinin takılması sana bölgesel bir bulgu değil, gürültü verir. Dört kişiyle şehir etkisi ölçülmez.

Aynı bütçeyle tek şehirde on iki kişiyle çalışmayı, üç şehirde dörder kişiyle çalışmaya tercih ederim. İkincisi raporda daha kapsamlı görünür, daha çok başlık üretir, ama başlıkların altındaki veri karar vermeye yetmez.

Lokasyonun gerçekten gerektiği durumlar

İstisnalar var ve hepsinde ortak nokta aynı: şehir değiştiğinde kullanıcının işi, dili ya da altyapısı da değişiyor.

• Tek sektörün hâkim olduğu yerler. Detroit'te otomotiv, Manhattan'da finans, Silikon Vadisi'nde teknoloji; oradaki katılımcı ortalama kullanıcıdan fazlasını bilir ve arayüzün zorluklarını kendi birikimiyle örtbas eder.
• Çok uluslu ürünler. Dil, para birimi, ödeme alışkanlığı ve yerel mevzuat ayrıdır; bunlar akışın kendisini değiştirir, algıyı değil.
• Ürünün bölgeyle bağlı olduğu durumlar. Karla mücadele ekipmanı satan bir katalogu Ege'de test etmek görevleri anlamsız kılar.
• Saha ve merkez ayrımı olan kurum içi sistemler. Burada iki lokasyon değil, iki iş akışı test edilir.

Yanlış katılımcı, yanlış şehirden pahalı

Şehri doğru seçip katılımcıyı yanlış seçmek daha sık rastlanan hata. Ürüne aşina olan, sektörde çalışan ya da ekibe yakın kişiler test sırasında davranış göstermez, yorum yapar. "Ben buraya bakardım" bir veri değil. İşe yarayan şey, görevi daha önce hiç yapmamış birinin nereye baktığı.

Karar sırası bu yüzden şöyle kurulur: önce kimi test edeceğini netleştir, sonra o kişilerin nerede olduğunu sor. Tersten ilerleyen planlar örneklemi haritaya bakarak kurar ve sonunda kalabalık ama birbirinin kopyası bir katılımcı listesiyle kalır.