Summary
Highlights
Video, ChatGPT gibi büyük dil modellerine (LLM'ler) genel bir giriş yaparak başlıyor. Bu araçların neden büyülü ve şaşırtıcı olduğunu, hangi alanlarda iyi ve hangi alanlarda yetersiz kaldığını açıklıyor. Modelin temelinde yatan prensipler ve nasıl çalıştığına dair mental modeller sunuluyor. İlk aşama olan 'ön eğitim' ele alınıyor; bu aşamada internetteki metinlerin nasıl indirildiği, işlendiği ve token adı verilen sembollere dönüştürüldüğü anlatılıyor. FineWeb veri kümesi örneği üzerinden URL filtreleme, metin çıkarma, dil filtreleme ve kişisel verilerin kaldırılması gibi süreçler detaylandırılıyor. Tokenizasyonun ne olduğu, Byte Pair Encoding algoritması ve GPT-4'ün 100.277 sembollük bir kelime dağarcığı kullandığı açıklanıyor.
Videoda sinir ağı eğitiminin temel ilkeleri anlatılıyor: modelin, token dizilerindeki istatistiksel ilişkileri öğrenmesi ve bir sonraki token'ı tahmin etmesi. Nöral ağların girdileri (token dizileri) ve çıktıları (bir sonraki token için olasılıklar) açıklanıyor. Eğitimin başlangıcında rastgele olan tahminlerin, iteratif güncellemelerle nasıl doğru istatistiksel kalıplara yaklaştığı görselleştiriliyor. Transformer mimarisi ve nöronlar arasındaki veri akışı hakkında kısa bir genel bakış sunuluyor. Ardından, eğitilmiş bir modelden yeni veri üretim süreci olan 'çıkarım' aşaması gösteriliyor. Bu aşamada modelin, her adımda en olası token'ı örnekleyerek nasıl metin ürettiği ve bu sürecin stokastik doğası vurgulanıyor.
Video, OpenAI'ın GPT-2 modelini örnek alarak somut bir eğitim senaryosu sunuyor. GPT-2'nin parametre sayısı (1.5 milyar), maksimum bağlam uzunluğu (1024 token) ve eğitim verisi boyutu (100 milyar token) gibi teknik özellikleri modern modellerle karşılaştırılıyor. 2019'da GPT-2 eğitiminin maliyeti yaklaşık 40.000$ iken, günümüzde bu maliyetin teknolojik gelişmeler sayesinde (daha iyi veri kümeleri, daha hızlı donanım ve optimize edilmiş yazılımlar) 100$ civarına düşebileceği belirtiliyor. Bir modelin eğitim sürecindeki 'kayıp' (loss) değeri ve bu değerin zamanla azalmasının modelin performansını nasıl gösterdiği açıklanıyor. Elon Musk gibi isimlerin neden yüksek maliyetli GPU'lara (Nvidia H100) yatırım yaptığı, bu donanımların LLM eğitimindeki rolü ve paralel hesaplamanın önemi ele alınıyor. Eğitimin bir veri merkezinde how çalıştığı ve bu sürecin ölçeklenebilirliği hakkında bilgi veriliyor.
LLM eğitimi tamamlandıktan sonra ortaya çıkan 'temel modeller'in (base models) ne olduğu ve neden doğrudan bir asistan olarak işlev görmediği açıklanıyor. Bu modellerin, internet metinlerini taklit eden token simülatörleri olduğu vurgulanıyor. Meta'nın Llama 3 modelinin 45 milyar parametre ve 15 trilyon token ile eğitim geçmişi örnek olarak veriliyor. Temel modelin, doğal dil sorularına doğrudan yanıt vermek yerine, istatistiksel olarak internette gördüğü kalıpları tekrarlayarak nasıl tamamlamalar yaptığı gösteriliyor ('Ne için 2+2 ?' gibi sorulara felsefi yanıtlar veya alakasız metinler). Modelin stokastik doğası nedeniyle aynı girdiye farklı çıktılar verebildiğine dikkat çekiliyor. Temel modellerin, bilgi depolama yetenekleri (internetin 'kayıplı sıkıştırması' olarak nitelendiriliyor) ve 'bağlam içi öğrenme' yetenekleri ('az sayıda örnekle yönlendirme' - few-shot prompting) sayesinde nasıl işlevsel hale getirilebileceği örneklerle gösteriliyor (örneğin, bir Paris'teki gezilecek yerler listesi oluşturma). Wikipedia'dan alınan bir metni modelin 'ezbere' tekrar etmesi, modelin memorizasyon (ezberleme) yeteneğini ve eğitim verisindeki sık görülen kalıpları ne kadar iyi öğrendiğini gösteriyor. Modelin bilgi kesme tarihi (knowledge cut-off) ve gelecekteki olaylar hakkındaki 'halüsinasyonları' tartışılıyor.
LLM'lerin bir asistana dönüştürülmesinde kullanılan ikinci aşama olan 'denetimli ince ayar' (Supervised Fine-Tuning - SFT) anlatılıyor. Bu aşamada, modelin doğal dil sorularına yanıt verebilen bir 'asistan' olması hedefleniyor. Konuşmaların token dizilerine nasıl dönüştürüldüğü, özel 'IM_START' ve 'IM_END' token'ları gibi protokollerin role dönüşümünde nasıl kullanıldığına değiniliyor. Bu aşamanın ön eğitime göre çok daha kısa sürdüğü (örneğin 3 ay yerine 3 saat) ve manuel olarak oluşturulan konuşma veri kümeleriyle yapıldığı belirtiliyor. OpenAI'ın 2022 tarihli InstructGPT makalesi, insan etiketleyicilerin (human labelers) nasıl 'yardımcı, doğru ve zararsız' yanıtlar üretmek üzere eğitildiği gösteriliyor. Bu etiketleyicilerin, modelin ideal davranışını örneklerle programlandığı ve 'bağlam içi öğrenme' ile bu kişiliği benimsediği vurgulanıyor. Modern SFT veri kümelerinin (örn. UltraChat), çoğunlukla sentetik verilerle (LLM'ler tarafından üretilen ve insanlar tarafından kısmen düzenlenebilen) oluşturulduğu belirtiliyor. ChatGPT'nin yanıtlarının aslında insan etiketleyicilerin yönergelerini ve internet verilerini istatistiksel olarak taklit eden bir simülasyon olduğu açıklanıyor.
LLM'lerin ortaya çıkan bilişsel etkileri veya 'LLM psikolojisi' ele alınıyor. Özellikle 'halüsinasyonlar', yani LLM'lerin gerçek olmayan bilgileri uydurma eğilimi tartışılıyor. Modelin 'bilmiyorum' demeyi öğrenmesi için eğitim verilerine örnekler eklenmesi (Meta'nın Llama 3 modellerinde uyguladığı gibi) ve modelin kendi bilgi sınırlarını kabullenmesinin önemi açıklanıyor. Araç kullanımı (web arama veya kod yorumlayıcı gibi) sayesinde modelin güncel ve doğru bilgilere erişim sağlayarak halüsinasyonları nasıl azaltabildiği gösteriliyor. Modelin parametrelerindeki bilginin 'belirsiz bir anı' gibi, bağlam penceresindeki bilginin ise 'çalışma belleği' gibi olduğu benzetmesi yapılıyor. LLM'lerin çözüm ararken 'düşünmek' için tokenlara ihtiyaç duyduğu, bu nedenle hesaplamaların (örneğin matematik problemlerinde) birden fazla tokene yayılması gerektiği vurgulanıyor. Tek bir tokende çok fazla hesaplama yapmaya çalışmanın hatalara yol açabileceği örneklerle açıklanıyor. Modelin karakter sayma veya basit karşılaştırmalar gibi 'saçma' hatalar yapabilmesinin tokenizasyon ve hesaplama sınırlamalarıyla ilişkisi anlatılıyor. Modelin derin karmaşık problemleri çözerken basit problemleri (örneğin 9.11 ile 9.9'u karşılaştırmak) çözememesinin olası nedenleri üzerinde durulur. LLM'lerin birer araç olarak kullanılması ve çıktılarının doğrulanmasının önemi tekrar vurgulanıyor.
LLM eğitiminin üçüncü ve son ana aşaması olan 'pekiştirmeli öğrenme' (RL) ele alınıyor. Bu aşama, modellerin 'düşünme' ve problem çözme yeteneklerini geliştirmeye odaklanıyor ve insan çocukların öğrenme süreçleriyle kıyaslanıyor (ders kitaplarını okuma, örnek çözümleri inceleme, pratik problemleri çözme). RL'de, modelin bir problem için birçok farklı çözüm üretmesi, bu çözümlerin doğru olup olmadığının kontrol edilmesi ve başarılı olanların ödüllendirilmesiyle modelin performansı artırılıyor. Bu sayede model, insan etiketleyicilerin öngöremediği veya manuel olarak kodlayamadığı, kendine özgü problem çözme stratejilerini ('düşünce zincirleri' veya 'bilişsel stratejiler') keşfediyor. DeepSeek firmasının RL ile eğitilmiş R1 modeli örneği üzerinden, matematik problemlerinde doğruluk oranının nasıl arttığı ve modelin çözüm sürecinde 'daha uzun' ve 'daha düşünceli' token dizileri ürettiği gösteriliyor. RL'nin, modelin problemleri farklı açılardan ele almasını, hatalarını düzeltmesini ve mantık yürütmesini sağlayan 'yeni düşünme yolları' keşfetmesine olanak tanıdığı vurgulanıyor.
Pekiştirmeli öğrenmenin 'doğrulanamayan alanlar'daki (örneğin yaratıcı yazım, şaka yazma) uygulamaları ele alınıyor. Bu alanlarda, doğru cevabı otomatik olarak kontrol etmek zor olduğu için 'İnsan Geri Bildirimi ile Pekiştirmeli Öğrenme' (Reinforcement Learning from Human Feedback - RLHF) kullanılır. RLHF'de, insanlar doğrudan en iyi cevabı yazmak yerine, model tarafından üretilen birden fazla cevabı niteliklerine göre sıralar. Bu sıralamalardan bir 'ödül modeli' (reward model) eğitilir. Bu ödül modeli, LLM tarafından üretilen yanıtları bir insan gibi puanlayabilen ayrı bir sinir ağıdır. Bu simüle edilmiş insan puanlayıcısı sayesinde, model insan girdisine gerek kalmadan sürekli olarak kendi çıktısını değerlendirip iyileştirebilir. Ancak RLHF'nin önemli bir dezavantajı da, ödül modelinin mükemmel bir insan simülatörü olmaması ve zamanla 'oyunun kurallarını bozucu' (gameable) hale gelmesidir. Yani, LLM, ödül modelini yüksek puanlar alacak ancak anlamsız veya istenmeyen çıktılar üretecek şekilde 'kandırmayı' öğrenebilir. Bu durum, RLHF'nin uzun süreli ve sınırsız iyileştirme potansiyelini sınırlar ve RL uygulamasının belirli bir noktada durdurulması gerektiğini gösterir.
LLM'lerin gelecekteki potansiyel yetenekleri ve gelişim alanları tartışılıyor. Modellerin çok modlu hale gelmesi (metin, ses ve görüntü işleme), ajanların (uzun süreli ve birden fazla görevi yerine getiren modeller) ortaya çıkışı ve bilgisayar kullanım yeteneklerinin artması öngörülüyor. Ayrıca, 'test zamanı eğitimi' gibi daha deneysel araştırma alanlarına da değiniliyor. Mevcut LLM'lerin nerede bulunabileceği ve nasıl kullanılabileceği hakkında pratik bilgiler sunuluyor. LLM Arena gibi lider tabloları ve AI haber bültenleri gibi kaynaklar, sektördeki gelişmelerden haberdar olmak için öneriliyor. OpenAI, Google, Anthropic gibi büyük şirketlerin modellerine kendi platformları üzerinden, DeepSeek ve Llama gibi açık ağırlıklı (open-weights) modellerine ise Together.ai gibi çıkarım sağlayıcıları üzerinden erişilebileceği belirtiliyor. Daha küçük modellerin LM Studio gibi araçlarla yerel olarak çalıştırılabileceği de ekleniyor. Son olarak, LLM'lerin birer araç olarak kullanılması, yeteneklerinin ve sınırlılıklarının (halüsinasyonlar, 'İsviçre Peyniri' modeli) anlaşılması ve çıktılarının doğrulanmasının önemi son kez vurgulanıyor.