Büyük dil modelleri (LLM) kullanırken, aynı prompt’a verilen yanıtların bazen yaratıcı, bazen tekrarcı olması kafa karıştırıcı olabilir. Bu farklılığın ardında temperature ve top-p sampling olarak bilinen iki temel parametre yatar. Bu parametreler, modelin kelime seçimindeki rastgelelik düzeyini belirleyerek çıktının çeşitliliğini ve tutarlılığını kontrol eder.
Temperature ve Top-P Nedir? Temel Kavramlar
LLM’ler, her adımda bir sonraki kelime için olasılık dağılımı oluşturur. Temperature, bu dağılımın şeklini değiştiren bir skalalama faktörüdür. Düşük temperature (0.1 gibi) olasılık farklarını keskinleştirir ve en yüksek olasılıklı token’ın seçilme ihtimalini artırır. Yüksek temperature (1.5 gibi) dağılımı düzleştirerek düşük olasılıklı token’ların da seçilmesine olanak tanır.
Top-p (nucleus) sampling ise, olasılık dağılımının kümülatif olasılığı belirli bir eşiğe (p) ulaşana kadar en yüksek olasılıklı token’ları bir havuzda toplar ve sadece bu havuzdan örnekleme yapar. Örneğin p=0.9, modelin en yüksek olasılıklı token’larının toplam olasılığının %90’ını oluşturduğu en küçük token kümesini seçer.
Temperature ve top-p aynı anda da kullanılabilir, ancak genellikle ikisinden birini sabitleyip diğerini ayarlamak daha öngörülebilir sonuçlar verir.
Parametrelerin Birlikte Kullanımı ve Pratik Ayarlar
Her iki parametre de çıktının rastgeleliğini kontrol etse de, farklı mekanizmalarla çalışır. Aşağıdaki tablo, yaygın görev türleri için önerilen başlangıç ayarlarını göstermektedir:
| Görev Türü | Temperature | Top-p | Açıklama |
|---|---|---|---|
| Kod üretimi / mantıksal akış | 0.1 – 0.3 | 0.9 – 1.0 | Düşük rastgelelik, doğruluk odaklı. |
| Yaratıcı yazma / hikaye anlatımı | 0.7 – 1.2 | 0.9 – 0.95 | Yüksek çeşitlilik, ancak kontrollü. |
| Veri analizi / özet çıkarma | 0.0 – 0.2 | 1.0 | Kesinlik için neredeyse deterministik. |
| Sohbet / genel amaçlı | 0.5 – 0.7 | 0.9 – 0.95 | Denge: tekrarları azaltır, tutarlılığı korur. |
Bu değerler başlangıç noktasıdır; özel kullanım durumunuza göre iteratif olarak ince ayar yapmalısınız.
Hangi Senaryoda Hangi Parametre Daha Önemli?
Temperature, modelin ne kadar “risk alacağını” belirler. Örneğin bir matematik sorusu için temperature 0 ayarlandığında model her seferinde en yüksek olasılıklı token’ı seçer ve deterministik yanıtlar verir. Yaratıcı bir şiir yazarken temperature 1.0 üzeri değerler ilginç ama bazen anlamsız sonuçlar doğurabilir.
Top-p ise, çıktının çeşitliliğini belirli bir olasılık kütlesiyle sınırlandırarak aşırı uç token’ların seçilmesini engeller. Örneğin p=0.9, en olası %90’lık kesimi korurken kalan %10’luk kısmı (ki ağırlıklı olarak saçma token’lar içerir) devre dışı bırakır.
Pratikte, temperature ve top-p’nin birlikte kullanımı sık görülür ancak birini sabitleyip diğerini ayarlamak daha kolaydır. Örneğin, Chain-of-Thought Prompting gibi yöntemlerde düşük temperature ve yüksek top-p kullanarak mantıklı ama esnek akışlar elde edebilirsiniz.
Yaygın Hatalar ve Dikkat Edilmesi Gerekenler
1. Her Görev İçin Aynı Ayarları Kullanmak
Kod yazma ile şiir yazma aynı parametre setini paylaşmamalıdır. Düşük temperature ile yaratıcılık beklemek hayal kırıklığı yaratır.
2. Aşırı Yüksek Temperature/Aşırı Düşük Top-p
Temperature > 1.5 genelde anlamsız üretimlere yol açar. Top-p < 0.8 ise çıktıyı gereksiz yere kısıtlayabilir.
3. Top-p’nin Tek Başına Kullanıldığında Yanıltıcı Olması
Top-p, düşük temperature ile birlikte kullanılmazsa bazı modellerde hala yüksek varyans gözlenebilir.
Parametrelerin LLM Üzerindeki Etkisi: Örnek Uygulama
Aşağıdaki örnekler, aynı prompt (“Teknolojinin geleceği hakkında bir paragraf yaz.”) ile farklı ayarların nasıl farklı çıktılar ürettiğini gösterir:
- Temperature 0.2, Top-p 0.9: “Teknoloji, yapay zeka ve otomasyon alanlarında hızla ilerliyor. Bu gelişmeler üretkenliği artırırken yeni iş alanları yaratıyor.” (Güvenli, öngörülebilir)
- Temperature 1.0, Top-p 0.9: “Gelecekte teknoloji, biyolojik ve dijital dünyaları birleştirerek insan deneyimini yeniden tanımlayabilir. Belki de bilincimizi buluta yükleyeceğiz.” (Yaratıcı, daha az tahmin edilebilir)
- Temperature 1.5, Top-p 0.95: “Teknoloji? Ah, kuantum sıçramaları, nanobot orduları ve yapay süper zeka… Ama ya her şey bir simülasyonsa?” (Dağınık, bazen anlamsız)
İleri Düzey: Dinamik Parametre Ayarı
Bazı gelişmiş uygulamalar, üretim sırasında parametreleri değiştirmeyi içerir. Örneğin, bir hikayenin başında yüksek temperature kullanılıp sonuca doğru düşürülebilir. Bu, Chain-of-Thought Prompting ile birleştiğinde mantıksal akışı korurken yaratıcı ara adımlar üretmeyi sağlar.
Son olarak, temperature ve top-p’nin yanı sıra yapılandırılmış çıktı üretimi gibi tekniklerle birleştirilerek daha güvenilir sonuçlar alınabilir.
Sonuç
Temperature ve top-p sampling, LLM çıktılarını ince ayar yapmanın en güçlü iki aracıdır. Doğru kullanıldıklarında, modelin hem yaratıcılığını hem de tutarlılığını kontrol edebilirsiniz. İhtiyacınız olan, denemek ve ayarları gözlemleyerek en uygun dengeyi bulmaktır.
Sık Sorulan Sorular
Temperature parametresi tam olarak ne yapar?
Temperature, modelin kelime seçimindeki rastgelelik düzeyini kontrol eden bir skalalama faktörüdür. Düşük değerler (0-0.3) daha deterministik ve güvenli çıktılar üretirken, yüksek değerler (0.8-1.5) daha yaratıcı ve çeşitli sonuçlar doğurur.
Top-p sampling ile temperature arasındaki fark nedir?
Temperature, tüm olasılık dağılımını yeniden şekillendirirken; top-p (nucleus) sampling, yalnızca kümülatif olasılığı p eşiğini geçen en yüksek olasılıklı token'ları seçer. Top-p, düşük olasılıklı token'ları tamamen eleyerek daha kontrollü bir çeşitlilik sağlar.
Kod yazarken hangi temperature ve top-p değerleri önerilir?
Kod üretimi için temperature 0.1-0.3 arası ve top-p 0.9-1.0 önerilir. Bu ayarlar, mantıksal tutarlılığı korurken yanlış sözdizimini minimuma indirir.
Temperature 0 ile top-p 0.9 aynı şeyi mi ifade eder?
Hayır. Temperature 0, modelin her zaman en yüksek olasılıklı token'ı seçmesini sağlar (deterministik). Top-p 0.9 ise hala rastgele seçime açık bir havuz belirler. Ancak temperature 0 iken top-p'in bir etkisi yoktur çünkü seçim zaten en yüksek olasılıklıdır.
