Yüksek boyutlu veri kümelerini analiz ederken, bilgiyi kaybetmeden düşük boyutlu bir uzayda görselleştirmek kritik bir adımdır. t-SNE (t-Dağılımlı Stokastik Komşu Yerleştirme) ve UMAP (Uniform Manifold Approximation and Projection) bu amaçla en sık kullanılan iki yöntemdir. Her ikisi de boyut indirgeme ve veri keşfi için güçlü araçlar olsa da, altında yatan matematiksel yaklaşımlar ve pratik sonuçlar açısından önemli farklılıklar gösterir.
t-SNE ve UMAP Nedir?
t-SNE (t-Dağılımlı Stokastik Komşu Yerleştirme)
t-SNE, 2008 yılında Laurens van der Maaten ve Geoffrey Hinton tarafından geliştirilen bir manifold öğrenme yöntemidir. Yüksek boyutlu verideki noktalar arasındaki benzerlikleri olasılık dağılımlarına dönüştürür ve düşük boyutlu bir haritada bu dağılımları mümkün olduğunca koruyacak şekilde noktaları yeniden konumlandırır. Yüksek boyutlu benzerlikler için Gauss dağılımı, düşük boyutlu benzerlikler için ise Student-t dağılımı kullanır. Bu sayede uzak noktaların itilmesi ve yakın noktaların çekilmesiyle küme yapılarını ortaya çıkarır.
UMAP (Uniform Manifold Approximation and Projection)
UMAP, 2018 yılında Leland McInnes ve arkadaşları tarafından geliştirilen daha yeni bir yöntemdir. t-SNE'ye benzer şekilde yerel komşuluk ilişkilerini korumaya odaklanır, ancak topolojik veri analizi ve Riemann geometrisi temellerine dayanır. UMAP, verinin düşük boyutlu bir manifold üzerinde düzgün dağıldığını varsayar ve bu manifoldun yaklaşık bir temsilini oluşturur. Hesaplama hızı ve ölçeklenebilirliği ile öne çıkar.
Önemli: t-SNE ve UMAP, doğrusal olmayan boyut indirgeme yöntemleridir. Verideki yerel yapıları koruma eğilimindeyken, küresel yapıları (örneğin, kümeler arası uzaklıklar) korumazlar. Bu nedenle yalnızca keşifsel analiz için kullanılmalı, çıkarımsal istatistik için kullanılmamalıdır.
t-SNE ve UMAP Arasındaki Temel Farklar
İki yöntem arasındaki farkları anlamak, doğru seçimi yapmak için kritiktir. Aşağıdaki tablo ana farkları özetlemektedir:
| Özellik | t-SNE | UMAP |
|---|---|---|
| Teorik Temel | İstatistiksel benzerlik koruma | Topolojik manifold yaklaşımı |
| Hız | Yavaş (özellikle büyük veri kümelerinde) | Hızlı (barnes-hut veya GPU ile daha hızlı) |
| Ölçeklenebilirlik | ~10.000 noktaya kadar iyi | ~100.000+ noktaya kadar ölçeklenebilir |
| Hiperparametreler | Perplexity, öğrenme oranı, iterasyon sayısı | n_neighbors, min_dist, n_components |
| Küresel Yapıyı Koruma | Zayıf (kümeler arası mesafeler anlamsız) | Orta (göreceli olarak daha iyi) |
| Kümeleme Tutarlılığı | Yüksek (kompakt kümeler) | Yüksek (ancak daha yaygın kümeler) |
| Deterministiklik | Deterministik değil (her çalıştırmada farklı) | Deterministik değil, ancak daha kararlı |
Hangi Durumda Hangi Yöntemi Kullanmalı?
Seçim, veri setinize ve hedefinize bağlıdır. İşte bir karar rehberi:
- Küçük ve orta ölçekli veri (n < 10.000) ve yüksek kaliteli kümelenme istiyorsanız: t-SNE tercih edin. Perplexity değerini veri noktası sayısının 5 ile 50 katı arasında ayarlayın. Hiperparametre optimizasyonu için Bayesian Optimization veya Grid Search kullanabilirsiniz.
- Büyük veri kümeleri (n > 10.000) veya hızlı iterasyon gerekiyorsa: UMAP idealdir. n_neighbors parametresi ile yerellik dengesini ayarlayabilirsiniz. Veride gürültü varsa min_dist değerini artırarak dağılımı kontrol edin.
- Küresel yapıyı kısmen korumak önemliyse: UMAP, t-SNE'ye göre daha iyi bir tercihtir. Ancak yine de mutlak mesafelere güvenmeyin.
- Ön işleme adımı olarak: Yüksek boyutlu verilerde L1 veya L2 regularizasyon ile gereksiz öznitelikleri eleyip ardından UMAP veya t-SNE uygulamak daha sağlıklı sonuçlar verebilir.
Pratik Uygulama İpuçları ve Sık Yapılan Hatalar
- Veri standardizasyonu: Her iki yöntem de uzaklık tabanlı olduğu için tüm öznitelikleri aynı ölçeğe getirmek (z-score veya min-max) zorunludur.
- Perplexity seçimi (t-SNE): Çok düşük perplexity (2-5) yerel gürültüyü, çok yüksek (>100) ise tüm veriyi tek bir küme gibi gösterebilir. Grid Search ile birkaç değeri test edin.
- Aşırı yorum yapmama: t-SNE ve UMAP sonuçlarındaki mesafeler nicel değildir. Kümelerin büyüklükleri ve aralıkları abartılı olabilir.
- Rastgele tohum: Her iki yöntem de başlangıç durumuna duyarlıdır. Kararlı sonuçlar için rastgele tohum (random seed) belirleyin.
Uzman uyarısı: UMAP ve t-SNE'yi sınıflandırma veya regresyon modellerinde girdi olarak kullanmayın. Bu yöntemler bilgi kaybına yol açar ve orijinal özniteliklerin yorumlanabilirliğini ortadan kaldırır.
Karar Verme Rehberi
Hangi yöntemi seçeceğiniz, veri büyüklüğü, hız gereksinimi ve görselleştirme amacınıza bağlıdır. Küçük verilerde t-SNE daha belirgin kümeler sunarken, büyük verilerde UMAP’in hızı ve ölçeklenebilirliği tartışılmaz. Her iki yöntemi de veri setiniz üzerinde deneyip sonuçları karşılaştırmak en sağlıklı yaklaşımdır. Unutmayın: Boyut indirgeme, veri keşfi için bir araçtır; nihai yargılarınızı her zaman orijinal veriye dönerek yapın.
Sık Sorulan Sorular
t-SNE ve UMAP arasındaki en önemli fark nedir?
En önemli fark, yöntemlerin matematiksel temelleridir. t-SNE istatistiksel benzerlik korumaya dayanırken, UMAP topolojik manifold yaklaşımı kullanır. Bu da UMAP'i daha hızlı ve büyük veri kümelerine daha uygun hale getirirken, t-SNE küçük verilerde daha kompakt kümeler üretebilir.
t-SNE neden küresel yapıyı korumaz?
t-SNE, yalnızca yerel komşuluk ilişkilerini korumaya odaklanır. Algoritma, düşük boyutlu haritada noktaların birbirine göre konumlarını belirlerken kümeler arası uzaklıkları anlamlı kılmaz. Bu nedenle t-SNE sonuçlarında kümelerin birbirine uzaklığı yorumlanmamalıdır.
UMAP ne zaman t-SNE'den daha iyi sonuç verir?
UMAP, özellikle büyük veri kümelerinde (10.000'den fazla nokta) ve hızlı hesaplama gerektiğinde t-SNE'den daha iyidir. Ayrıca kısmen küresel yapıyı koruyabilmesi sayesinde verideki genel eğilimleri görmek için daha uygundur.
t-SNE ve UMAP için hiperparametreleri nasıl ayarlamalıyım?
t-SNE için perplexity, veri noktası sayısının 5-50 katı arasında seçilir. UMAP'te ise n_neighbors yerellik dengesini belirler (genelde 5-50 arası). Hiperparametre optimizasyonu için Grid Search, Random Search veya Bayesian Optimization gibi yöntemler kullanılabilir.
Boyut indirgeme sonrası elde ettiğim düşük boyutlu veriyi makine öğrenmesi modelinde kullanabilir miyim?
Genellikle önerilmez. t-SNE ve UMAP, veriyi görselleştirme amacıyla tasarlanmıştır ve düşük boyutlu temsil, orijinal özniteliklerin yorumlanabilirliğini kaybeder. Sınıflandırma veya regresyon için doğrudan kullanmak, bilgi kaybına ve aşırı uyuma yol açabilir.
