Triangulation'ı Doğrulamaya Çeviren Şey: Yöntemlerin Bağımsızlığı

Triangulation genellikle şöyle anlatılır: bir bulguyu ikinci bir yöntemle kontrol edersen daha emin olursun. Kulağa doğru geliyor, ama iki yöntem aynı hatayı yapıyorsa aynı yanlış cevabı iki kez almış olursun ve bu sefer ona daha çok güvenirsin. Asıl soru kaç yöntem kullandığınız değil, kullandığınız yöntemlerin nerede birbirinden ayrıldığı.

Bağımsızlık koşulu

İki ölçümün birbirini doğrulaması için hata kaynaklarının farklı olması gerekiyor. Aynı e-posta listesine gönderilen anket ile aynı listeden davet edilen görüşme katılımcıları, yöntem olarak farklı görünse de aynı örneklemin üzerinde duruyor. Ürünü bırakmış kullanıcılar ikisinde de yok. Bulgular örtüşür, çünkü aynı kör noktayı paylaşıyorlar.

Peki ya iki yöntem gerçekten farklı şeyleri ölçüyorsa? Kaynak metinlerde sık geçen bir örnek var: memnuniyet anketindeki düşüşü gelir raporuyla kontrol etmek. Memnuniyet ile gelir aynı kavram değil, biri düşerken diğeri aylarca yükselmeye devam edebilir. Bu ikisinin uyuşması doğrulama sayılmaz, uyuşmaması da anketin yanlış olduğunu göstermez. Triangulation aynı soruya farklı yollardan cevap aramaktır, farklı sorulara verilen cevapları yan yana koymak değil.

Çelişki en bilgilendirici sonuçtur

Analitik formun sorunsuz doldurulduğunu söylüyor, görüşmelerde herkes formdan şikayet ediyor. Bu noktada birini seçip diğerini elemek yerine, ikisinin hangi kullanıcıyı gördüğüne bakmak gerekiyor. Analitik yalnızca formu açanları sayar; görüşmedeki kişi formu görünce vazgeçtiğini söylüyorsa iki bulgu çelişmiyor, farklı anları anlatıyor.

Bir taraf tutmak gerekirse: ne olduğu konusunda davranış verisine, neden olduğu konusunda görüşmeye güvenirim. Tersini yapmak, yani kullanıcıya kendi davranışının sıklığını sormak ya da log verisinden niyet çıkarmak, iki yöntemin de en zayıf tarafını kullanmak oluyor.

Ölçümün pratikte nereye takıldığı

Hata sayısındaki artışı analitikten okumadan önce o olayın nerede tetiklendiğine bakın (çoğu kurulumda sayaç istemci tarafındaki doğrulamaya bağlıdır, sunucunun reddettiği gönderim hiç görünmez). Aynı şekilde destek talepleri de bir veri kaynağıdır, ama filtrelenmiş bir kaynaktır: yalnızca yazmayı göze alan kullanıcıyı temsil eder.

Bu detaylar akademik değil. Bir arayüz iddiasının doğrulanabilmesi, o iddianın ölçüldüğü kodun ne saydığını bilmeye bağlı. Sayacın nerede durduğunu bilmeden "veriyle desteklendi" demek, triangulation'ı bir kalite mührüne çevirir.

Ne kadarı yeterli

Yöntem eklemenin bedeli var, ve bu bedel doğrusal büyümüyor. Her ek yöntem yalnızca kendi maliyetini değil, sonuçların birbiriyle karşılaştırılması ve çelişkilerin çözülmesi için gereken zamanı da getiriyor. Kararı geri almanın maliyeti düşükse tek bir iyi yöntem yeterli; bir düğmenin yerini değiştirmek için üçlü doğrulama kurmak, o düğmeyi taşımaktan pahalıya gelir.

Sınırı belirleyen ölçüt riskin büyüklüğü. Tüm bir akışın yeniden kurgulanması, fiyatlandırma değişikliği ya da kaydolma adımının azaltılması gibi geri dönüşü zor kararlarda ikinci ve üçüncü kaynağa bakmak makul. Bunu yaparken de kaynakların birbirinden bağımsız olmasına dikkat edin, yoksa elinizde üç tane aynı cevap ve üç katı fatura kalır.