"Piyasa Ort. Karşı +%52" gibi bir rozetle karşılaşabilirsiniz. Etkileyici görünüyor. Böyle bir rakama güvenmeden önce, tam olarak neyin kıyaslandığını — ve bu tür matematiğin nerede sessizce yanlış gittiğini — anlamakta fayda var.
1. Yaygın Hata
Tuzak şöyle işler: bir modelin "evet" tahminlerinin doğru çıkma oranı olan kesinliğini (precision) alıp, doğrudan farklı bir şeyi ölçen, tüm tahminlerin (evet ve hayır) doğru çıkma oranı olan endüstri geneli bir doğruluk (accuracy) rakamıyla kıyaslarsınız.
Kesinlik ve doğruluk farklı soruları, farklı paydalar üzerinden yanıtlar. Bir model, sadece en emin olduğu az sayıda maça tahmin yaparak kesinliğini yükseltebilir — bu, bir doğruluk taban çizgisinin yanıtladığı sorudan tamamen farklıdır. İkisi arasındaki farkı gerçek bir "avantaj" saymak, performansı olduğundan fazla gösterir.
"Bir yüzde, yalnızca aynı şeyi, aynı örneklemde, aynı paydayla ölçen başka bir yüzdenin yanında anlamlıdır."
Bu ayrım gözden kolayca kaçar. İki farklı metrik tek bir metrikmiş gibi kıyaslandığında, ortaya çıkan "artış" iddia ettiği şeyi ölçmüyordur.
2. Matematik Neden Tutmuyor
Bu hatayı başka yerlerde de tanıyabilmeniz için işlenmiş bir örnek:
Bu "+%52" gerçek bir performans artışı gibi görünür ama değildir. Bir doğruluk rakamının bir kesinlik rakamından çıkarılıp doğruluk rakamına bölünmesinin sonucudur — ki bu iki metrik başından beri kıyaslanabilir değildi. Farklı metriklerden kurulan göreceli yüzde bir "avantaj", altındaki rakamlar ne olursa olsun her zaman performansı olduğundan fazla gösterir.
3. Kesinlik ve Doğruluk: Her Biri Neyi Ölçer
Bu iki terim günlük konuşmada birbirinin yerine kullanılır, ama farklı şeyleri ölçerler:
- Doğruluk: Yapılan her tahminin — her "evet" ve her "hayır"ın — ne kadarı doğru çıktı?
- Kesinlik: Yalnızca "evet" denen tahminlerin ne kadarı doğru çıktı? Kaç "evet" tahmini yapıldığı veya "hayır" durumlarının nasıl ele alındığı hakkında hiçbir şey söylemez.
- Neden önemli: Bir model, yalnızca en emin olduğu maçlara tahmin yaparak kesinliğini yükseltebilir; tüm maçlar genelindeki doğruluğu ise farklı bir tablo çizer.
Herhangi iki yüzdeyi kıyaslamadan önce üç soru sorun:
- Aynı görev mi? Kesinlik ve doğruluk farklı soruları yanıtlar — doğrudan kıyaslamayın.
- Aynı örneklem mi? Bir veri setinden, ligden veya zaman diliminden gelen rakam bir diğeriyle doğrudan karşılaştırılamaz.
- Aynı payda mı? "Tüm tahminler içinde doğru" ile "yapmayı seçtiğimiz tahminler içinde doğru" aynı taban değildir.
4. Yüzdeleri Adil Şekilde Kıyaslamak
Adil bir kıyaslama aynı metriği, aynı şekilde ölçülmüş, doğrudan karşılaştırılabilir örneklemler üzerinde kullanır. İşte yanıltıcı bir kıyaslama ile dürüst bir kıyaslama arasındaki fark:
Farklı Metrikleri Kıyaslamak
Bir kesinlik rakamını (yalnızca "evet" ölçümü) alıp bir endüstri doğruluk rakamından (tüm tahminler ölçümü) çıkarmak, sonra doğruluk rakamına bölmek. Sonuç bir performans artışı gibi görünür. Değildir — iki farklı ölçümü karıştırmanın bir yan etkisidir.
Elmayı Elmayla Kıyaslamak
Doğruluğu bir doğruluk taban çizgisiyle, aynı görev ve aynı türde örneklem üzerinde kıyaslamak. Bu kıyaslamanın iddia ettiği şeyi gerçekten ifade eden tek versiyonu budur.
"Bir kıyaslama, diğer metriğin tanımını yerine koyduğunuzda çöküyorsa, baştan beri adil bir kıyaslama değildi."
Sonuç
Bir dahaki sefere "Piyasa Ort. Karşı +%52" gibi bir rozet gördüğünüzde, gerçekte neyin kıyaslandığını kontrol edin:
- Aynı metrik: Kesinlik kesinlikle, doğruluk doğrulukla kıyaslanır — asla karıştırılmaz.
- Aynı örneklem: Kıyaslamanın her iki tarafında da aynı görev, zaman dilimi ve popülasyon.
- Aynı payda: "Neyin üzerinden" her iki tarafta da eşleşmeli, yoksa yüzdeler aynı şeyi ölçmüyor demektir.
Bu kontrollerden geçmeyen bir rakam avantaj değildir. Bir yuvarlama numarasıdır.
Gerçek Rakamları mı İstiyorsunuz?
Her seferinde aynı şekilde ölçülen, yayınlanmış doğruluk istatistiklerimize göz atın.
Canlı İstatistikleri Görüntüle