Makine öğrenmesi modellerini değerlendirirken doğruluk tek başına yeterli değildir, özellikle dengesiz veri setlerinde. ROC AUC ve Precision-Recall AUC en yaygın kullanılan performans metriklerinden ikisidir. Peki hangisi daha güvenilir? Cevap, veri setinizin dengesine ve önceliklerinize bağlıdır: ROC AUC genel sıralama başarısını ölçerken Precision-Recall AUC azınlık sınıfına odaklanır.
ROC AUC Nedir? Avantajları ve Sınırlamaları
ROC (Receiver Operating Characteristic) eğrisi, farklı sınıflandırma eşiklerinde True Positive Rate (TPR) ve False Positive Rate (FPR) değerlerini gösterir. AUC (Area Under Curve), bu eğrinin altında kalan alandır ve modelin sınıfları ayırt etme yeteneğini ölçer. ROC AUC, pozitif ve negatif sınıfların dengeli olduğu durumlarda oldukça kullanışlıdır. Ancak dengesiz veri setlerinde FPR (yanlış pozitif oranı) düşük olacağı için eğri iyimser görünebilir. Örneğin %99 negatif sınıf içeren bir veride FPR doğal olarak düşük kalır, bu da ROC AUC’nin yüksek çıkmasına neden olur. Bu durum, modelin azınlık sınıfındaki başarısını abartabilir.
Precision-Recall AUC Nedir? Ne Zaman Kullanılmalı?
Precision-Recall (PR) eğrisi, precision (kesinlik) ve recall (duyarlılık) arasındaki ilişkiyi gösterir. PR AUC, özellikle dengesiz veri setlerinde pozitif sınıfa odaklandığı için daha anlamlıdır. ROC AUC’den farklı olarak PR AUC, negatif sınıfın büyüklüğünden etkilenmez. Bu nedenle nadir olayları (fraud tespiti, hastalık teşhisi gibi) tahmin etmeye çalışırken PR AUC daha güvenilir bir metriktir. Örneğin, müşteri kaybı tahmininde pozitif sınıf (kayıp) azsa, PR AUC modelin gerçekten kaybedecek müşterileri ne kadar iyi yakaladığını gösterir.
Dengesiz Veri Setlerinde Hangisi Daha Güvenilir?
Araştırmalar, dengesiz veri setlerinde PR AUC’nin ROC AUC’ye göre daha ayrıştırıcı ve güvenilir olduğunu göstermektedir. ROC AUC, çoğunluk sınıfının (negatif) performansına daha duyarlıyken, PR AUC azınlık sınıfına (pozitif) odaklanır. Örneğin, ROC AUC 0.95 çıkan bir model aslında hiçbir pozitif örneği bulamıyor olabilir, ancak çok sayıda negatif örneği doğru tahmin ettiği için yüksek puan alır. PR AUC ise düşük recall durumunda hemen düşer. Bu yüzden, özellikle pozitif sınıfın nadir olduğu durumlarda PR AUC tercih edilmelidir.
Pratik Bir Karşılaştırma: Hangi Metrik Ne Zaman Seçilmeli?
Aşağıdaki tabloda iki metrik arasındaki temel farkları ve kullanım önerilerini bulabilirsiniz:
| Özellik | ROC AUC | PR AUC |
|---|---|---|
| Odaklandığı sınıf | Hem pozitif hem negatif | Sadece pozitif (azınlık) |
| Dengesiz veri etkisi | İyimser sonuç verebilir | Daha gerçekçi |
| Negatif sınıfın büyüklüğü | Etkiler | Etkilemez |
| Önerilen kullanım | Dengeli veri, genel sıralama | Dengesiz veri, nadir olaylar |
Sık Yapılan Hatalar ve Dikkat Edilmesi Gerekenler
En sık yapılan hata, veri dengesine bakmadan sadece ROC AUC’ye güvenmektir. Özellikle dengesiz veri setlerinde makine öğrenmesi uygulamalarında PR AUC’nin ihmal edilmesi, yanlış model seçimine yol açabilir. Ayrıca, bu metriklerin yalnızca sıralama başarısını ölçtüğünü, kesin doğruluk vermediğini unutmayın. Modelinizi değerlendirirken confusion matrix ve F1-score gibi tamamlayıcı metrikleri de kullanın. Bir diğer hata ise PR AUC’yi yorumlarken baz değerini göz ardı etmektir. Rastgele bir modelin PR AUC’si, pozitif sınıf oranına eşittir. Örneğin %1 pozitif içeren veride rastgele model 0.01 PR AUC alır; bu nedenle PR AUC değerinizi her zaman bu baz değerle karşılaştırın.
Hangi Durumda Hangi Metrik Kullanılmalı?
Genel kural: Eğer veri setiniz dengeli ise (pozitif/negatif oranı yaklaşık 1:1) ROC AUC kullanabilirsiniz. Ancak dengesiz bir veri setiniz varsa (örneğin %10’dan az pozitif), PR AUC çok daha anlamlı bilgiler verir. Özellikle fraud detection, tıbbi teşhis, nadir olay tahmini gibi alanlarda PR AUC standart metrik haline gelmiştir. Yine de her iki metriği de hesaplayıp birlikte yorumlamak en sağlıklı yaklaşımdır. Unutmayın, hiçbir metrik tek başına yeterli değildir; model amacınıza uygun metrikler seçin.
Sonuç: PR AUC Dengesiz Veride Daha Güvenilir
ROC AUC ve PR AUC arasında seçim yaparken asıl belirleyici faktör veri dengesidir. Dengesiz veri setlerinde PR AUC, modelin azınlık sınıfındaki başarısını daha doğru yansıtır. Bu nedenle özellikle sınıflandırma problemlerinde, veri dengesini değerlendirip uygun metriği seçmek kritiktir. Dengesiz veri setlerinde kullanılabilecek teknikler ve farklı sınıflandırma algoritmalarının performansı hakkında daha fazla bilgi edinebilirsiniz. Ayrıca Rastgele Orman ve Gradient Boosting karşılaştırması da ilginizi çekebilir.
Sık Sorulan Sorular
ROC AUC ve Precision-Recall AUC arasındaki temel fark nedir?
ROC AUC, True Positive Rate ve False Positive Rate arasındaki dengeyi ölçerken, Precision-Recall AUC precision ve recall arasındaki ilişkiye odaklanır. ROC AUC negatif sınıftan da etkilenirken PR AUC sadece pozitif sınıfa bakar.
Dengesiz veri setlerinde neden Precision-Recall AUC daha iyidir?
Dengesiz veride çoğunluk sınıfı (negatif) yüksek olduğu için ROC AUC yapay olarak yüksek çıkabilir. PR AUC ise azınlık sınıfına (pozitif) odaklandığından modelin nadir olayları bulma başarısını daha doğru yansıtır.
ROC AUC hangi durumlarda yanıltıcı olabilir?
Özellikle %95'ten fazla negatif sınıf içeren veri setlerinde ROC AUC, çok sayıda negatif örneği doğru tahmin ettiği için yüksek çıkar, ancak model pozitif örnekleri hiç bulamıyor olabilir.
Precision-Recall AUC değeri nasıl yorumlanır?
PR AUC değeri 0 ile 1 arasındadır. Rastgele bir modelin PR AUC'si pozitif sınıf oranına eşittir. Örneğin %5 pozitif içeren veride rastgele model 0.05 alır. Daha yüksek PR AUC, modelin azınlık sınıfını daha iyi ayırt ettiğini gösterir.
Hangi metrik kullanılmalı: ROC AUC mı PR AUC mı?
Veri setiniz dengeliyse ROC AUC, dengesizse (özellikle pozitif sınıf %10'dan az ise) PR AUC kullanın. Her iki metriği de hesaplayıp birlikte değerlendirmek en güvenilir yöntemdir.
