Anlatı derlemesi incelemesi

Büyük Dil Modelleri Üzerine Kapsamlı Bir İnceleme: Gelişim, Teknikler ve Gelecek Yönelimleri

Doğal dil işleme ve yapay zeka alanında dil modelleme, istatistiksel yaklaşımlardan derin nöral ağlara ve önceden eğitilmiş Transformer modellerine uzanan kapsamlı bir evrim geçirmiştir. Bu derleme, alandaki hızlı teknik gelişmeleri sistematik bir yapıda organize ederek literatürdeki karmaşıklığı gidermeyi hedeflemektedir.

Makalenin anahtar kelimeleri

Yazar: Wayne Xin Zhao et al.
Yayın: Frontiers of Computer Science
Tarih: 2026-05-09
DOI: 10.1007/s11704-026-60308-3

Makalenin Kapsamı ve Akademik İçeriği

Yapay zeka ve doğal dil işleme alanında istatistiksel dil modellerinden nöral dil modellerine, oradan da önceden eğitilmiş Transformer mimarilerine uzanan tarihsel gelişim, büyük dil modellerinin (LLM) ortaya çıkmasıyla niteliksel bir dönüşüm yaşamıştır. Parametre ölçeklerinin on milyarlarca ila yüz milyarlarca seviyeye ulaşması, küçük modellerde gözlemlenmeyen ve beliren beceriler (emergent abilities) olarak adlandırılan yeni yeteneklerin doğmasını sağlamıştır. Ancak bu hızlı teknik ilerleme, modellerin pre-training, uyarlama, kullanım ve değerlendirme süreçlerinde kapsamlı metodolojik düzenlemeler gerektirmekte ve alandaki teknik birikimin sistematik bir biçimde sentezlenmesi ihtiyacını doğurmaktadır.

Bu derleme çalışmasının temel amacı, büyük dil modellerinin gelişimini, mimari yapılarını, eğitim tekniklerini ve değerlendirme metodolojilerini bütüncül bir çerçevede incelemektir. Yazarlar, literatürdeki geniş külliyatı dört ana eksen etrafında sınıflandırarak analiz etmekte; ön eğitim (pre-training) veri hazırlığı ve mimari seçimleri, uyarlama ince ayarları (instruction tuning ve alignment tuning), kullanım stratejileri (prompting, in-context learning) ve kapasite değerlendirme yöntemlerini metodolojik bir derinlikle ele almaktadır. İnceleme, hem teorik temelleri hem de pratik mühendislik uygulamalarını birleştiren sentezleyici bir yaklaşım benimsemektedir.

Çalışmada elde edilen temel çıkarımlar, model ölçekleme yasalarının (scaling laws) dil modelleme kaybını öngörülebilir kıldığını, ancak görev düzeyindeki başarının ve beliren becerilerin karmaşık dinamiklere bağlı olduğunu göstermektedir. İnsan tercihlerine dayalı pekiştirmeli öğrenme (RLHF) ve denetimli ince ayar (SFT) yöntemlerinin, modellerin insan değerleriyle hizalanmasında ve olumsuz içerik üretiminin engellenmesinde kritik rol oynadığı vurgulanmaktadır. Ayrıca, veri müfredatı (data curriculum) ve parametre verimli ince ayar (LoRA, adapter tuning) yöntemlerinin, devasa modellerin eğitilmesi ve uyarlanmasındaki yüksek hesaplama maliyetlerini hafifleten anahtar teknikler olduğu ortaya konmaktadır.

Sonuç olarak çalışma, büyük dil modellerinin yalnızca belirli dil işleme görevlerini çözen araçlar olmaktan çıkıp genel amaçlı problem çözücülere dönüştüğünü kanıtlamaktadır. Derleme, araştırmacılara ve mühendislere mimari tasarımdan emniyetli yaygınlaştırmaya kadar geniş bir yelpazede sistematik bir kılavuz sunmakta ve mevcut literatürdeki bilgi kopukluklarını gidermektedir. Gelecek araştırmalar için insan değerleriyle tam hizalanma, veri kıtlığı koşullarında ölçeklenme ve beliren becerilerin teorik mekanizmalarının aydınlatılması gibi açık araştırma yönleri tanımlanarak alanın gelişim patikası netleştirilmektedir.

Araştırmanın amacı

Bu çalışmanın amacı, büyük dil modellerinin arka planını, temel bulgularını ve yaygın tekniklerini ön eğitim, uyarlama ince ayarı, kullanım ve kapasite değerlendirmesi olmak üzere dört ana boyutta sistematik olarak incelemektir(Zhao et al., 2026).

İnceleme ve modelleme yöntemi

Bu derleme çalışması, büyük dil modellerinin (LLM) gelişimini, mimari yapılarını, veri hazırlama süreçlerini, uyarlama tekniklerini ve kapasite değerlendirme kriterlerini literatür taraması yöntemiyle sistematik olarak incelemektedir(Zhao et al., 2026).

Kuramsal ve kavramsal çerçeve

Çalışmanın kuramsal çerçevesi, Transformer mimarisi, ölçekleme yasaları (KM ve Chinchilla scaling laws), beliren beceriler (emergent abilities) ve pekiştirmeli öğrenmeye dayalı hizalama (RLHF/SFT) kuramları üzerine inşa edilmiştir.

Makalenin ele aldığı literatür

Çalışma, istatistiksel n-gram modellerinden (Good-Turing, back-off), nöral dil modellerine (word2vec, NPLM), önceden eğitilmiş modellerden (ELMo, BERT, GPT serisi) güncel devasa modellere (PaLM, LLaMA, GPT-4) kadar uzanan geniş bir literatürü ele almaktadır.

Araştırma Tasarımı

Evren veya inceleme alanı: Yapay zeka ve doğal dil işleme literatüründe büyük dil modelleri üzerine yayımlanan akademik makaleler ve teknik raporlar.
Örneklem veya araştırma materyali: GPT serisi, PaLM, LLaMA ve Chinchilla gibi önde gelen büyük dil modelleri ve bunlara ait teknik dokümantasyonlar.
Veri toplama süreci: Belirlenen anahtar kelimeler çerçevesinde arXiv, Google Scholar ve akademik veri tabanlarında yer alan güncel büyük dil modeli yayınlarının derlenmesi.
Veri analiz yöntemi: Toplanan literatürün ön eğitim, uyarlama ince ayarı, kullanım yaklaşımları ve yetenek değerlendirmesi boyutlarında tematik ve nitel analizi.

Büyük Dil ModelleriÖlçekleme YasalarıBeliren YeteneklerHizalama AyarıParametre Etkin İnce Ayar

Araştırmanın Bulguları

Ölçekleme yasaları, model performansının parametre sayısı, veri boyutu ve hesaplama bütçesiyle güç yasası ilişkisini açıklar. Kaplan ve Hoffmann yaklaşımları hesaplama bütçesinin optimal dağılımına yönelik farklı katsayılar sunar(Zhao et al., 2026).

Beliren yetenekler (emergent abilities), küçük ölçekli modellerde görülmeyip parametre sayısı belirli bir eşiği aştığında aniden ortaya çıkan yeteneklerdir; bağlam içi öğrenme ve adım adım akıl yürütme bu yeteneklerin en temel örnekleridir(Zhao et al., 2026).

Denetimli İnce Ayar (SFT) öğretmen zorlaması (teacher-forcing) yöntemiyle yerel token düzeyinde davranış kopyalama yaparken, İnsan Geribildirimiyle Pekiştirmeli Öğrenme (RLHF) global ödül sinyali kullanarak modellerin halüsinasyonlarını azaltır(Zhao et al., 2026).

Parametre-etkin ince ayar (PEFT) yöntemleri, özellikle LoRA gibi düşük dereceli matris yaklaşımları, orijinal model ağırlıklarını dondurup eğitilebilir parametre sayısını azaltarak bellek ve depolama verimliliği sağlamaktadır(Zhao et al., 2026).

Bulguların Tartışılması ve Araştırmanın Sonucu

Bulguların Yazarlar Tarafından Yorumlanışı

Büyük dil modellerinin başarısının arkasındaki en temel mekanizmalardan biri, hesaplama gücü, veri boyutu ve parametre ölçeği arasındaki ilişkileri nicelikselleştiren ölçekleme yasalarıdır. Yazarlar, bu yasaların sadece performansı öngörmekle kalmayıp, eğitim sırasında ortaya çıkabilecek kararsızlıkların izlenmesinde ve kaynakların en verimli şekilde tahsis edilmesinde kritik bir kılavuz görevi gördüğünü savunmaktadır.

Modeller belirli bir parametre eşiğini aştığında ortaya çıkan beliren yetenekler (emergent abilities), literatürde fiziksel evre geçişlerine benzetilmektedir. Bağlam içi öğrenme ve adım adım akıl yürütme gibi karmaşık becerilerin küçük modellerde gözlenemeyip büyük ölçeklerde aniden belirmesi, dil modellerinin salt istatistiksel örüntü eşlemesinden ziyade semantik bir dünya modeli inşa etmeye başladığına işaret etmektedir.

İnce ayar aşamasında denetimli öğrenme (SFT) ve pekiştirmeli öğrenmenin (RLHF) rolleri derinlemesine analiz edilmektedir. Yazarlar, SFT'nin modelin mevcut potansiyel yeteneklerini açığa çıkarmada etkili olduğunu, ancak insan değerleriyle hizalama ve halüsinasyonların engellenmesi noktasında, küresel geri bildirimlerle çalışan RLHF mekanizmasının çok daha üstün sonuçlar verdiğini vurgulamaktadır.

Son olarak, büyük dil modellerinin çok modlu (multimodal) uzantıları ve parametre etkin uyarlama (PEFT) stratejileri, yapay zeka ekosisteminin dönüşümünü hızlandırmaktadır. Özellikle LoRA gibi düşük dereceli matris güncellemeleri, devasa modellerin operasyonel maliyetlerini düşürürken, görsel ve işitsel modalitelerin entegrasyonu genel amaçlı yapay zeka (AGI) vizyonuna giden yolu doğrudan şekillendirmektedir.

Bulguların Önceki Araştırmalarla Karşılaştırılması

Yazarlar, Kaplan vd. (2020) tarafından önerilen KM ölçekleme yasası ile Hoffmann vd. (2022) tarafından geliştirilen Chinchilla ölçekleme yasasını karşılaştırarak; KM yasasının hesaplama bütçesi artışında parametre boyutunu büyütmeyi önerdiğini, Chinchilla yasasının ise parametre ve veri ölçeğinin eşit oranda artırılması gerektiğini gösterdiğini savunmaktadır(Zhao et al., 2026).

Çalışmada, Ouyang vd. (2022) tarafından geliştirilen InstructGPT modeli bağlamında SFT ve RLHF karşılaştırılmaktadır. SFT yönteminin öğretmen zorlamasıyla yerel bir optimizasyon yürüttüğü ve halüsinasyona yol açabildiği, RLHF'nin ise insan tercihlerine dayalı küresel bir ödül modeli kullanarak modeli daha güvenli hale getirdiği tartışılmaktadır(Zhao et al., 2026).

Sonuç Bölümünün Sunduğu Çıkarımlar

Büyük dil modellerinin gelişimini sistematik olarak ele alan bu çalışma, modellerin salt dil üreticisi olmaktan çıkıp genel amaçlı problem çözücülere dönüştüğünü ortaya koymaktadır. Ön eğitim aşamasındaki veri temizliği ve mimari optimizasyonların yanı sıra, SFT ve RLHF gibi uyarlama yöntemleri ile parametre etkin tekniklerin (LoRA) entegrasyonu, gelecekteki yapay genel zeka (AGI) sistemlerinin inşasında ve çok modlu (multimodal) yeteneklerin geliştirilmesinde temel yapı taşlarını oluşturacaktır(Zhao et al., 2026).

Literatür Taraması İçin Sunduğu Çerçeve

Bu derleme çalışması, büyük dil modelleri alanındaki hızlı ve dağınık teknik gelişmeleri bütüncül bir taksonomi altında birleştirerek literatürde haritalandırma ve sentezleme işlevi görmektedir. İstatistiki ve nöral dil modellerinden devasa önceden eğitilmiş modellere geçiş sürecini tarihsel bir süreklilik içinde ele alır. Büyüyen parametre ölçeğinin getirdiği beliren yetenekleri kavramsallaştırarak alandaki teorik çerçeveyi netleştirir. Ön eğitim, uyarlama ince ayarı, kullanım ve değerlendirme boyutlarını sistematik bir yapıda sunarak araştırmacılar için kapsamlı bir metodolojik yol haritası çizer.

Çalışma, geleneksel doğal dil işleme literatüründeki istatistiksel n-gram modellerinden ve sığ nöral ağlardan (word2vec) ayrışarak Transformer tabanlı büyük ölçekli mimarilere odaklanır. ELMo ve BERT gibi ilk kuşak önceden eğitilmiş dil modellerinin sunduğu 'ön eğitim ve ince ayar' paradigmasını, GPT-3 ve PaLM ile ortaya çıkan 'istem tabanlı görev çözme' ve 'bağlam içi öğrenme' paradigmasıyla karşılaştırır. Önceki derlemelerin sadece belirli dar alanlara veya küçük ölçekli modellere odaklandığı noktada, bu çalışma parametre ve veri ölçeklemesinin getirdiği niteliksel sıçramaları inceleyerek literatürdeki teorik boşluğu doldurmaktadır.

Literatür taraması açısından bu yayın, büyük dil modellerinin yaşam döngüsünü dikey ve yatay boyutlarıyla kurgulayan metodolojik bir referans kaynağı niteliğindedir. Ön eğitim verilerinin toplanması ve temizlenmesinden, SFT ve RLHF gibi insani değerlerle hizalama mekanizmalarına; LoRA gibi parametre etkin ince ayar yaklaşımlarından çok modlu değerlendirme kriterlerine kadar tüm süreçleri standartlaştırır. Araştırmacıların alanla ilgili mevcut teknik birikimi hızlıca kavrayıp kendi özgün sorularını türetmelerine imkân tanır.

Kaynakça

Kaplan, J., McCandlish, S., Henighan, T., Brown, T. B., Chess, B., Child, R., Gray, S., Radford, A., Wu, J., & Amodei, D. (2020). Scaling laws for neural language models. arXiv preprint arXiv:2001.08361.
Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., Schulman, J., Hilton, J., Kelton, F., Miller, L., Simens, M., Askell, A., Welinder, P., Christiano, P. F., Leike, J., & Lowe, R. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, 35, 27730-27744.

Tez ve Makale Araştırmalarında Kullanım

Makalenin doğrulanmış yöntemi, bulguları ve kuramsal çerçevesi; tez ve makale çalışmalarında kullanılacağı bölümle birlikte aşağıdaki üç araştırma taslağına dönüştürülmüştür.

Tez veya makalede kullanım · Kavramsal çerçeve

Büyük dil modellerinde parametre ölçeği ve hesaplama bütçesi belirli sınırları aştığında, küçük modellerde görülmeyen beliren yetenekler ortaya çıkmaktadır.

Tezin kavramsal çerçeve bölümünde dil modellerinin evrimini ve niteliksel yetenek sıçramalarını açıklamak üzere temellendirme kaynağı olarak kullanılır(Zhao et al., 2026).

Türkçe Alanına Özgü Büyük Dil Modellerinde LoRA ve Tam Parametre İnce Ayarın Karşılaştırmalı Analizi

Araştırma sorusu: Tıp ve hukuk gibi uzmanlık alanlarına ait Türkçe metinlerde, LoRA tabanlı parametre etkin ince ayar ile tam parametreli ince ayar arasında anlamsal doğruluk ve bellek verimliliği açısından anlamlı bir fark var mıdır?
Yöntem taslağı: Açık kaynaklı 7B ve 13B parametreli temel modeller (örn. LLaMA-2) seçilir. Tıp ve hukuk alanlarından derlenen Türkçe veri setleriyle hem LoRA hem de tam parametre SFT uygulanır. Örneklem büyüklüğü istatistiksel güç analizi ile belirlenir. Performans, alan uzmanlarının kör değerlendirmesi ve otomatize alan testleri ile karşılaştırılır.

Makaleyle bağlantısı: Derleme metninde LoRA'nın (Hu et al., 2021) bellek kullanımını azalttığı ve büyük modellerde tam parametre ayarına yakın performans sunduğu belirtilmiş; ancak farklı dillerde ve spesifik uzmanlık alanlarında tam parametre ayarıyla deneysel karşılaştırmasının yapılması gerekliliği vurgulanmıştır(Zhao et al., 2026).

Tez veya makalede kullanım · literatüre-review

Denetimli ince ayar (SFT) öğretmen zorlamasıyla yerel token öğrenimi sağlarken, RLHF global insan tercihi sinyalleriyle modelin halüsinasyonlarını ve zararlı çıktılarını azaltır.

Literatür taramasında modellerin ince ayar ve insan değerleriyle hizalanması süreçlerindeki teknik farkları ve avantajları açıklamak için başvurulur(Zhao et al., 2026).

Açıklanabilir Akıl Yürütme Görevlerinde DPO ve RLHF Hizalama Stratejilerinin İnsan Tercih Uyumu Üzerindeki Etkisi

Araştırma sorusu: Matematiksel ve mantıksal adım adım akıl yürütme gerektiren Türkçe görevlerde, Doğrudan Tercih Optimizasyonu (DPO) ile RLHF (PPO) yöntemleri modelin doğru adım dizilimi üretme kapasitesini nasıl etkilemektedir?
Yöntem taslağı: Aynı temel model üzerinde RLHF (Ödül Modeli + PPO) ve DPO hizalama algoritmaları ayrı ayrı eğitilir. Test aşamasında PRM800k benzeri Türkçe adım adım doğrulanmış problem veri seti kullanılır. Başarı oranları nitel veri doygunluğuna ulaşmış uzman panel değerlendirmesi ve adım bazlı doğruluk skoru ile analiz edilir.

Makaleyle bağlantısı: Derleme metninin 5.2.4 ve 5.2.5 bölümlerinde, DPO'nun RLHF'ye kıyasla karmaşık PPO adımlarını elerken teorik eşdeğerlik sunduğu ancak karmaşık akıl yürütme adımlarındaki ampirik performans sınırlarının açık bir araştırma konusu olduğu ifade edilmiştir(Zhao et al., 2026).

Tez veya makalede kullanım · method

LoRA yöntemi, orijinal model ağırlıklarını dondurup yoğun katmanlara düşük dereceli ayrıştırma matrisleri ekleyerek eğitilebilir parametre sayısını ve bellek gereksinimini önemli ölçüde düşürür.

Araştırma yönteminde büyük dil modellerinin sınırlı donanım kaynaklarıyla özelleştirilmesi için kullanılan parametre etkin fine-tuning tasarımını gerekçelendirmede kullanılır(Zhao et al., 2026).

Çok Modlu Büyük Dil Modellerinde Görsel Talimat İnce Ayarının Obje Halüsinasyonları Üzerine Etkisi

Araştırma sorusu: Görsel talimat ince ayarında (Visual Instruction Tuning) kullanılan veri setlerinin detay seviyesi ve niteliği, çok modlu modellerin karmaşık sahnelerdeki obje halüsinasyon oranlarını nasıl etkilemektedir?
Yöntem taslağı: Açık kodlu bir MLLM mimarisi (örn. LLaVA yapısı) temel alınır. Sentetik olarak üretilmiş yüzeysel görsel talimatlar ile insan tarafından doğrulanmış detaylı görsel talimat veri setleriyle iki farklı model eğitilir. POPE protokolü ve nesne doğrulama testleriyle modellerin nesne varlığı/özelliği hakkındaki halüsinasyon oranları karşılaştırılır.

Makaleyle bağlantısı: Metnin 8.1.4 bölümünde çok modlu modellerde (MLLM) görsel talimat kalitesinin model yeteneklerini doğrudan belirlediği ve nesne halüsinasyonu sorununu çözmenin temel bir zorluk olduğu tespit edilmiştir(Zhao et al., 2026).