Büyük dil modelleri (LLM) ile çalışırken temperature ve top-p (nucleus sampling) parametreleri, üretilen metnin yaratıcılığı, tutarlılığı ve rastlantısallığı üzerinde doğrudan etkiye sahiptir. Bu iki ayar, modelin olasılık dağılımından nasıl örnekleme yapacağını belirleyerek çıktı kalitesini dramatik şekilde değiştirebilir. Doğru yapılandırma, prompt mühendisliği ve fine-tuning çabalarınızın başarısını doğrudan etkiler.
Temperature (Sıcaklık) Nedir?
Temperature, modelin olasılık dağılımını yumuşatan veya keskinleştiren bir parametredir. Düşük sıcaklık (0.1-0.3) daha deterministik çıktılar üretirken, yüksek sıcaklık (0.8-1.5) daha yaratıcı ve rastgele sonuçlar verir. Matematiksel olarak, her token'ın logit değeri temperature'ye bölünür ve ardından softmax uygulanır. Pratikte:
- Düşük Temperature (0.1-0.3): En yüksek olasılıklı token'lar neredeyse her zaman seçilir. Tutarlı, gerçekçi ve tekrarlanabilir yanıtlar için idealdir. Örneğin, teknik dokümantasyon veya doğru bilgi gerektiren görevler.
- Orta Temperature (0.4-0.7): Denge sağlar. Yaratıcılık ile tutarlılık arasında iyi bir denge sunar. Genel sohbetler, özetleme ve beyin fırtınası için uygundur.
- Yüksek Temperature (0.8-1.5): Daha az olası token'ların seçilme şansı artar. Yaratıcı yazım, hikaye oluşturma veya çeşitlilik istenen durumlar için kullanılır. Ancak anlamsız veya konudan sapma riski yüksektir.
Top-p (Nucleus Sampling) Nedir?
Top-p, olasılık dağılımının en yüksek olasılıklı token'larının kümülatif olasılığı belirtilen p değerine ulaşana kadar token'ları seçen bir örnekleme yöntemidir. Örneğin top-p=0.9, olasılık dağılımının %90'ını kapsayan en olası token'ları seçer. Geri kalan düşük olasılıklı token'lar filtrelenir. Bu sayede:
- Düşük Top-p (0.1-0.5): Model yalnızca en olası token'lara odaklanır, çıktı daha tutarlıdır.
- Yüksek Top-p (0.8-0.95): Daha geniş bir token havuzu kullanılır, yaratıcılık ve çeşitlilik artar.
- Top-p=1: Tüm token'lar dikkate alınır, bu da genellikle temperature ile birlikte kullanıldığında rastgeleliği artırır.
Temperature ve Top-p Birlikte Nasıl Kullanılır?
Bu iki parametre bağımsız değildir. OpenAI gibi sağlayıcılar genellikle aynı anda temperature ve top-p ayarlanmasını önermez (birini sabit tutup diğerini değiştirmek daha iyidir). Önerilen kombinasyonlar:
| Kullanım Senaryosu | Temperature | Top-p |
|---|---|---|
| Kesin cevap gerektiren sorular | 0.2 | 0.1 |
| Sohbet ve genel görevler | 0.5 | 0.9 |
| Yaratıcı yazım (hikaye, şiir) | 0.8 | 0.95 |
| Kod üretimi (hata ayıklama) | 0.1 | 0.1 |
Pratik İpuçları
- Küçük başlayın: Temperature=0.5 ve top-p=0.9 ile başlayıp ihtiyaca göre ince ayar yapın.
- Tek parametre değiştirin: Aynı anda her iki parametreyi değiştirmek yerine önce temperature, sonra top-p ile oynayın.
- Çıktı çeşitliliğini test edin: Aynı prompt'u farklı sıcaklıklarla çalıştırarak tutarlılık ve yaratıcılık arasındaki farkı gözlemleyin.
- Chain-of-Thought (CoT) promptlarında düşük sıcaklık kullanın: CoT, mantıksal adımlar gerektirdiğinden temperature 0.2-0.3 aralığında daha başarılıdır.
- Yüksek sıcaklıkta tekrarı dengeleyin: Eğer model tekrarlara başlıyorsa, frequency_penalty ve presence_penalty gibi diğer parametreleri ayarlayın.
- Deneysel sonuçları kaydedin: Hangi parametre kombinasyonunun hangi görevde iyi çalıştığını not alın.
Sık Yapılan Hatalar ve Kaçınılması Gerekenler
- Çok yüksek temperature: Anlamsız, tutarsız veya konudan sapan çıktılar. Yaratıcılık amacıyla 1.5'un üzerine çıkmayın.
- Çok düşük top-p: Aşırı kısıtlayıcı olabilir, model yalnızca en olası token'ları seçer ve doğal dil akışı bozulur.
- Her iki parametreyi aynı anda yüksek ayarlamak: Temperature=1.0 ve top-p=0.95 gibi bir kombinasyon neredeyse tamamen rastgele çıktı üretir.
- Temperature'yi sabit tutup sadece top-p ile oynamak: Özellikle sistem promptu ile birlikte kullanırken temperature'nin etkisini göz ardı etmeyin.
Kontrol Listesi
- Görev türünü belirlediniz mi? (Kesin cevap, yaratıcı mı?)
- Başlangıç değeri olarak temperature=0.5 ve top-p=0.9 denediniz mi?
- Tek bir parametreyi değiştirip çıktıyı karşılaştırdınız mı?
- Düşük sıcaklık (0.2) ile tutarlılık, yüksek sıcaklık (0.8) ile yaratıcılık testi yaptınız mı?
- İstenmeyen tekrarlar için frequency_penalty veya presence_penalty eklediniz mi?
- Çıktıları değerlendirip hangi kombinasyonun en iyi sonucu verdiğini kaydettiniz mi?
- Zero-shot ve few-shot ayarlarınızda temperature'nin etkisini test ettiniz mi?
Temperature ve top-p, LLM'lerden en iyi verimi almak için kritik öneme sahiptir. Yukarıdaki ipuçları ve kontrol listesi ile denemeler yaparak kullanım senaryonuza en uygun ayarları bulabilirsiniz. Unutmayın, parametrelerin etkisi modele ve göreve göre değişir; bu nedenle sistematik testler yapmak en sağlıklı yöntemdir.
Sık Sorulan Sorular
Temperature ve top-p arasındaki fark nedir?
Temperature tüm token dağılımını ölçeklerken, top-p yalnızca belirli bir kümülatif olasılığı kapsayan token'ları seçer. Temperature dağılımı yumuşatır/kalınlaştırır; top-p düşük olasılıklı token'ları keser. Genellikle ikisi birlikte kullanılmaz; birini sabit tutup diğerini ayarlamak daha iyidir.
Hangi görevlerde düşük temperature kullanılmalı?
Kesin cevap gerektiren görevlerde (teknik destek, kod üretimi, matematiksel problem çözme) düşük temperature (0.1-0.3) idealdir. Ayrıca chain-of-thought promptları da düşük sıcaklıkta daha tutarlı akıl yürütme sağlar.
Temperature çok yüksek olursa ne olur?
Yüksek temperature (1.0 üzeri) anlamsız, konudan sapan, tekrarlayan veya dilbilgisi hatalı çıktılara yol açar. Modelin yaratıcılığı artsa da kontrol kaybolur. Genellikle 1.5 sınırı aşılmamalıdır.
Top-p değerini nasıl belirlemeliyim?
Düşük top-p (0.1-0.5) daha tutarlı, yüksek top-p (0.8-0.95) daha yaratıcı çıktı verir. Önerilen başlangıç değeri 0.9'dur. Kullanım senaryonuza göre düşük veya yüksek deneyerek en iyi sonucu bulabilirsiniz.
