Chain-of-thought (CoT) prompting, büyük dil modellerinin (LLM) karmaşık akıl yürütme problemlerinde daha doğru sonuçlar üretmesine yardımcı olan bir prompt mühendisliği tekniğidir. Bu yöntemde model, nihai cevaba ulaşmadan önce adım adım düşünme sürecini açıklamaya teşvik edilir. CoT, özellikle matematiksel problemler, mantık bulmacaları veya çok adımlı karar verme senaryolarında standart promptlamaya kıyasla belirgin iyileştirmeler sunar.
Chain-of-Thought Prompting Nedir?
Chain-of-thought prompting, modele bir problemi çözerken ara adımları sıralamasını ve mantıksal bir akış oluşturmasını isteyen bir tekniktir. Örneğin, matematiksel bir problemde modelin "Önce X'i hesapla, sonra Y'yi bul, ardından Z'ye ulaş" şeklinde düşünmesi sağlanır. Bu yaklaşım, modelin daha derin bir anlama ve doğru sonuç üretme yeteneğini artırır.
Chain-of-Thought vs Standart Promptlama: Temel Farklar
Standart promptlamada model, soruya doğrudan yanıt vermeye çalışır. Örneğin: "2500 TL maaşın %15’i ne kadardır?" sorusuna model direkt cevap verir. CoT ise modelden önce yüzdeyi hesaplama adımını yazmasını ister: "2500’ün %15’i = 2500 × 0.15 = 375 TL." Bu küçük fark, özellikle karmaşık problemlerde hata oranını ciddi ölçüde düşürür. Araştırmalar, CoT'nin matematiksel akıl yürütme gerektiren görevlerde doğruluğu %20-30 artırdığını göstermektedir.
Chain-of-Thought Nasıl Uygulanır?
Başarılı bir CoT uygulaması için aşağıdaki adımları izleyin:
- Açık talimat verin: Prompt'unuzda “Adım adım düşün” veya “Her adımı açıkla” gibi ifadeler kullanın.
- Örnekler sunun: Birkaç örnek üzerinden CoT akışını gösterin (few-shot CoT).
- Karmaşık problemleri parçalayın: Sorunu alt problemlere bölün ve her birini ayrı ayrı çözmeyi isteyin.
- Doğrulama adımı ekleyin: Çıktının sonunda “Cevabını kontrol et” gibi bir uyarı ekleyerek kendi kendini düzeltmesini sağlayın.
Örnek bir CoT prompt: “Ali 3 elma, 2 armut aldı. Toplam 5 meyve var. Elma sayısı armuttan fazla mı? Lütfen adım adım düşün.”
Sık Yapılan Hatalar ve Dikkat Edilmesi Gerekenler
- Aşırı uzun zincirler: CoT çıktısı gereksiz yere uzayabilir; model yanlış adımları da zincire ekleyebilir. Bu durumda hallüsinasyon azaltma yöntemleri ile ek filtreleme yapabilirsiniz.
- Modelin bağlam sınırı: Çok adımlı CoT, token limitini aşabilir. Token yönetimi için prompt'u kısa ve öz tutun.
- Yanlış yönlendirme: Prompt'ta verdiğiniz örnekler yanlışsa model de hatalı akıl yürütebilir. Bu nedenle örneklerin doğruluğundan emin olun.
- Sıcaklık (temperature) ayarı: CoT için düşük temperature (0.0-0.3) daha tutarlı sonuçlar verir. Yüksek değerler yaratıcı ama hatalı adımlara yol açabilir. Temperature ayarlarıyla ilgili detaylı bilgi için LLM Çıktılarında Temperature ve Top-p Ayarları yazısına göz atabilirsiniz.
Farklı Model Türlerinde CoT Performansı
Chain-of-thought, tüm modellerde eşit performans göstermez. Büyük dil modelleri (GPT-4, Claude 3, Gemini) genellikle CoT'den daha fazla fayda sağlarken, küçük modellerde etkisi sınırlı olabilir. Aşağıdaki tabloda popüler modellerin CoT ile doğruluk artışını görebilirsiniz:
| Model | Standart Doğruluk | CoT ile Doğruluk | Artış Yüzdesi |
|---|---|---|---|
| GPT-4 | %78 | %92 | +%18 |
| Claude 3 | %75 | %88 | +%17 |
| Gemini 1.5 Pro | %71 | %85 | +%20 |
| Llama 3 70B | %65 | %78 | +%20 |
Not: Değerler GSM8K matematik problem seti üzerinde yapılan testlere dayanmaktadır. Gerçek performans göreve ve prompt'a göre değişiklik gösterebilir.
En İyi Pratikler ve İpuçları
CoT'den maksimum verim almak için şu stratejileri uygulayın:
- Few-shot CoT kullanın: Tek bir örnek bile modeli doğru yönlendirebilir. İlk prompt'ta bir adet CoT örneği verin.
- Zero-shot CoT deneyin: “Adım adım düşün” gibi basit bir ifade bile etkili olabilir.
- Çıktıyı doğrulayın: Modelin ürettiği ara adımları kontrol etmek için ikinci bir prompt veya insan denetimi ekleyin.
- Karmaşık görevlerde CoT'yi birleştirin: Örneğin, çok aşamalı bir projede her adım için ayrı CoT kullanın. Bu yaklaşım, model karşılaştırması yaparken hangi modelin CoT'den daha çok faydalandığını anlamanıza da yardımcı olur.
Chain-of-Thought Prompting’in Geleceği
Chain-of-thought, günümüzde en etkili prompt mühendisliği tekniklerinden biri olarak kabul edilmektedir. Gelecekte, modellerin içsel akıl yürütme yetenekleri geliştikçe CoT'nin önemi azalabilir, ancak şu an için karmaşık problemleri çözmede vazgeçilmez bir araçtır. Deneyimlerinizi ve farklı modellerdeki performansı bizimle paylaşmayı unutmayın.
Sık Sorulan Sorular
Chain-of-thought prompting her problemde işe yarar mı?
Hayır, CoT özellikle çok adımlı akıl yürütme gerektiren problemlerde (matematik, mantık, kodlama) etkilidir. Basit bilgi sorgulamalarında standart promptlama yeterlidir.
Chain-of-thought ve few-shot learning arasındaki fark nedir?
Few-shot learning, modele birkaç örnek vererek öğrenmesini sağlar. Chain-of-thought ise özellikle akıl yürütme adımlarını sıralamaya odaklanır. Birlikte kullanılabilirler (few-shot CoT).
Zero-shot chain-of-thought işe yarar mı?
Evet, 'Adım adım düşün' gibi basit bir talimatla zero-shot CoT uygulanabilir. Ancak few-shot CoT genellikle daha başarılıdır.
Chain-of-thought çıktısı çok uzun oluyor, ne yapmalıyım?
Token sınırını aşmamak için prompt'ta 'Kısa ve öz ol' gibi bir talimat ekleyin veya modeli sadece son cevabı vermeye yönlendirin (ara adımları gizleyerek).
