Nicel araştırma makalesi incelemesi
DOI: 10.51354/mjen.1784716Yazılım Geliştirmede Üretken Yapay Zeka Modellerinin Performans ve Güvenilirliği: C# Tabanlı Bir Analiz
Yazılım mühendisliği süreçlerinde üretken yapay zeka sistemlerinin ve büyük dil modellerinin kullanımı, kod üretimi, hata ayıklama ve test senaryoları hazırlama aşamalarında geliştirici verimliliğini artırmaktadır.
Makalenin anahtar kelimeleri
- Yazar
- Abdulkadir Şeker & Halil Kaynarpınar
- Yayın
- Tarih
- 2025
Makalenin Kapsamı ve Akademik İçeriği
Yazılım mühendisliği alanında üretken yapay zeka araçlarının hızlı yayılımı, yazılım kalitesi ve kod güvenilirliği konularında kapsamlı değerlendirmeleri zorunlu kılmaktadır. Doğal dil komutlarından kod üreten büyük dil modelleri; basitleştirilmiş prototipleme, hızlı kod tamamlama ve öğrenme süreçlerine katkı sağlasa da, üretilen kodların standart ve uç senaryolardaki niteliği akademik bir araştırma problemi olarak öne çıkmaktadır. Özellikle C# gibi güçlü tip denetimine ve nesne yönelimli mimariye sahip dillerde, modellerin sadece geçerli sözdizimi üretmesi değil, aynı zamanda bellek yönetimi, zaman karmaşıklığı ve hata toleransı gibi kriterleri karşılaması beklenmektedir. Bu durum, yapay zeka modellerinin pratik yazılım geliştirme süreçlerindeki sınırlarını ve yetkinliklerini titizlikle ölçmeyi gerektirmektedir.
İncelenen araştırmada, sektörde yaygın olarak tercih edilen ChatGPT-4o, Gemini 2.5 Flash, Claude 3 ve GitHub Copilot olmak üzere dört farklı üretken yapay zeka modelinin C# dilindeki kodlama performansı deneysel olarak karşılaştırılmıştır. Çalışma kapsamında 10 temel algoritma problemi ve 10 nesneye yönelik programlama (OOP) problemi tasarlanmıştır. Modellerin ürettiği çözümler; Big O zaman karmaşıklığı, bellek kullanımı, kod satır sayısı (LOC), değişken ve metot sayıları ile yürütme süresi gibi nicel metriklerle analiz edilmiştir. Ayrıca her bir problem için tanımlanan uç durumlar (edge cases) üzerinden modellerin istisna yönetimi, veri doğrulama ve mantıksal kararlılık düzeyleri sistematik şekilde test edilerek sayısal başarı oranları hesaplanmıştır.
Elde edilen bulgular, tüm modellerin işlevsel açıdan çalışan çözümler üretebildiğini, ancak gelişmiş yazılım mühendisliği pratikleri ve sınır durum yönetimi açısından belirgin farklar taşıdığını göstermektedir. Temel algoritma uç durumlarında ChatGPT %96 uyum oranıyla en yüksek kararlılığı sergilerken, Gemini %94 ile ikinci sırada yer almış, Copilot %86 ve Claude %82 başarı göstermiştir. Nesneye yönelik programlama uç durumlarında da ChatGPT %90 başarı oranıyla öne çıkmış; Gemini %88, Claude %82 ve Copilot %80 başarı oranına ulaşmıştır. ChatGPT ve Copilot daha kısa ve kompakt kodlar üretirken, Gemini ve Claude modülerlik ve okunabilirlik açısından daha detaylı yapılar sunmuştur. Bununla birlikte, kod yorum satırlarının eksikliği, entegre birim testlerinin üretilmemesi ve bazı uç senaryolarda görülen mantıksal yetersizlikler tüm modellerde ortak kısıtlar olarak saptanmıştır.
Sonuç olarak araştırma, üretken yapay zeka modellerinin yazılım geliştirme süreçlerinde güçlü birer yardımcı araç olmakla birlikte tek başlarına tam güvenilir kod üretemediklerini ortaya koymaktadır. Modellerin ideal çalışma koşullarının ötesinde tipik olmayan sınır senaryolar altında değerlendirilmesinin önemi vurgulanmaktadır. İlgili yazın açısından bu çalışma, C# dilinde geniş kapsamlı bir metrik ve uç durum veri seti sunarak yapay zeka destekli yazılım mühendisliği literatürüne somut bir ampirik katkı sağlamaktadır. Yazılım mimarlarının ve araştırmacıların yapay zeka araçlarını entegre ederken insan denetimini ve etkili komut mühendisliği (prompt engineering) pratiklerini sürece dahil etmelerinin kritik gerekliliği açıkça gösterilmektedir.
Araştırmanın amacı
Bu çalışmanın temel amacı, ChatGPT-4o, Gemini 2.5 Flash, Claude 3 ve GitHub Copilot modellerinin C# dilindeki temel algoritma ve nesneye yönelik programlama problemlerine ürettikleri çözümleri zaman karmaşıklığı, bellek kullanımı, kod satırı ve uç durum dayanıklılığı açısından karşılaştırmalı olarak analiz etmektir(Şeker & Kaynarpınar, 2025).
İnceleme ve modelleme yöntemi
Bu çalışmada nicel deneysel analiz yaklaşımı benimsenerek, ChatGPT-4o, Gemini 2.5 Flash, Claude 3 ve GitHub Copilot yazılım araçlarının C# dilinde ürettikleri çözümler yazılım kalite metrikleri ve uç durum senaryoları açısından karşılaştırılmıştır(Şeker & Kaynarpınar, 2025).
Kuramsal ve kavramsal çerçeve
Çalışma, yazılım kalitesi ve nesneye yönelik tasarım ilkeleri (kapsülleme, kalıtım, çok biçimlilik, soyutlama) ile zaman/alan karmaşıklığı (Big O gösterimi) ilkelerine dayanmaktadır. Ayrıca büyük dil modellerinin kod üretimindeki doğruluğunu ve güvenilirliğini sınamak amacıyla yazılım test metodolojisi ve sınır değer analizi (edge-case testing) kuramsal taban olarak benimsenmiştir.
Makalenin ele aldığı literatür
Araştırma, büyük dil modellerinin yazılım geliştirme süreçlerine entegrasyonu, nesne yönelimli kod kalitesi metrikleri (Calp & Arıcı, Erdemir vd.), kod kokuları ile yapay zeka yanılsamaları (Tosi, Florez Muñoz vd., Fan vd.) ve yapay zekanın yazılım test süreçlerindeki kısıtları (Freeman vd.) üzerine odaklanan geniş bir literatür bağlamını ele almaktadır.
Araştırma Tasarımı
- Evren veya inceleme alanı
- C# programlama dilinde tanımlanmış temel algoritmik ve nesne yönelimli programlama problemleri ile üretken yapay zeka kod üretim modelleri evrenini temsil etmektedir.
- Örneklem veya araştırma materyali
- 10 adet temel algoritma problemi ve 10 adet nesne yönelimli programlama (OOP) probleminden oluşan toplam 20 C# kodlama görevi ile 4 yapay zeka modeli (ChatGPT-4o, Gemini 2.5 Flash, Claude 3, Copilot) materyal olarak kullanılmıştır.
- Veri toplama süreci
- Her modele aynı doğrudan komut (direct prompting) verilerek üretilen C# kod çözümleri toplanmış; Visual Studio Code ve .NET 8.0 SDK ortamında MacBook Pro (M3, 32 GB RAM) cihazında çalıştırılarak derleme ve test verileri kaydedilmiştir.
- Veri analiz yöntemi
- Kod çözümleri Big O zaman karmaşıklığı, bellek kullanımı (MB), kod satırı sayısı (LOC), değişken ve metot sayıları ile yürütme süresi (ms) metrikleriyle nicel olarak analiz edilmiş; ayrıca 5'er uç durum senaryosunda doğruluk testlerine tabi tutulmuştur.
Araştırmanın Bulguları
Temel algoritma problemlerinde ChatGPT %96 başarı oranıyla uç durumlara karşı en yüksek uyum ve hata toleransı sergilerken; Gemini %94, Copilot %86 ve Claude %82 başarı oranına ulaşmıştır(Şeker & Kaynarpınar, 2025).
Nesne yönelimli programlama (OOP) senaryolarında uç durum uyumluluk oranları ChatGPT için %90, Gemini için %88, Claude için %82 ve Copilot için %80 olarak ölçülmüştür(Şeker & Kaynarpınar, 2025).
Kod yalınlığı ve satır sayısı açısından ChatGPT ve Copilot ortalama 12-13 satırla daha özlü çözümler üretirken, Gemini ve Claude ortalama 18-22 satırla daha açıklayıcı ve modüler kod yapıları sunmuştur(Şeker & Kaynarpınar, 2025).
İncelemeye alınan tüm modeller koda açıklama satırı ekleme, entegre performans ölçümü sağlama ve birim test geliştirme gibi gelişmiş yazılım mühendisliği uygulamalarında genel yetersizlik göstermiştir(Şeker & Kaynarpınar, 2025).
Bulguların Tartışılması ve Araştırmanın Sonucu
Bulguların Yazarlar Tarafından Yorumlanışı
Elde edilen nicel bulgular, yapay zeka modellerinin standart kod senaryolarında yüksek doğruluk sağladığını, ancak uç durum testlerinde belirgin performans farkları ortaya koyduğunu göstermektedir. Özellikle ChatGPT ve Gemini, istisna yönetimi ve sınır değer sınamalarında rakiplerine kıyasla daha kararlı bir grafik çizmiştir.
Yazarlar bu durumu, modellerin eğitim mimarileri ve optimize edildikleri temel hedeflerdeki farklılıklarla açıklamaktadır. ChatGPT-4o'nun yapısal tutarlılığı ve veri doğrulama kabiliyeti yüksek tutulurken, Copilot'un hız ve basitlik odaklı yapısının uç durumlarda güvenlik ve hata denetimi eksikliklerine yol açtığı belirtilmektedir.
Tartışma bölümünde bu sonuçlar mevcut literatürle ilişkilendirilmiş; yapay zeka kaynaklı kodların sıklıkla kural ihlalleri, eksik istisna yönetimi ve kod kokuları barındırdığını belirten Tosi (2024) ve Florez Muñoz vd. (2024) çalışmalarının tespitleriyle örtüştüğü gösterilmiştir.
Sonuç olarak, üretken yapay zekanın yazılım geliştirme süreçlerine entegrasyonunda yalnızca sentaktik doğrulukla yetinilmemeli; yazılım güvenilirliği, uç durum dayanıklılığı ve sürdürülebilirlik ilkeleri doğrultusunda insan merkezli bir doğrulama mekanizması titizlikle uygulanmalıdır.
Bulguların Önceki Araştırmalarla Karşılaştırılması
Yazarlar nesne yönelimli yazılım metriklerinin kod kalitesi ve sürdürülebilirlikteki belirleyici rolünü vurgulayan literatür bulgularıyla paralel biçimde, modellerin OOP ilkelerine uyumunu ve karmaşıklığı azaltma kapasitelerini kalite metrikleri çerçevesinde değerlendirmiştir(Şeker & Kaynarpınar, 2025).
Sonuç Bölümünün Sunduğu Çıkarımlar
Yazarlar, üretken yapay zeka modellerinin yazılım geliştirme süreçlerinde son derece faydalı yardımcı araçlar olduğunu, ancak bu sistemlerin tam potansiyellerine ulaşabilmesi için insan denetimi, ileri düzey yazılım mühendisliği disiplini ve özellikle etkili komut mühendisliği (prompt engineering) uygulamalarının zorunlu olduğunu vurgulamaktadır(Şeker & Kaynarpınar, 2025).
Literatür Taraması İçin Sunduğu Çerçeve
Bu araştırma, yazılım geliştirme süreçlerinde kullanılan üretken yapay zeka modellerini yalnızca sentaktik doğruluk düzeyinde değil, aynı zamanda yazılım mühendisliğinin temel yapı taşları olan zaman karmaşıklığı, bellek kullanımı, kod uzunluğu ve en önemlisi sıra dışı sınır senaryolara karşı dayanıklılık çerçevesinde ampirik olarak test eden karşılaştırmalı bir değerlendirme işlevi görmektedir. Alan yazında sıkça yer bulan teorik yaklaşımları somut sayısal veriler ve istatistiksel uç durum analizleriyle destekleyerek yapay zeka kod asistanlarının güvenilirlik sınırlarını netleştirmektedir.
Çalışma, yapay zeka destekli kod üretiminin verimlilik kazanımlarını kabul eden ancak üretilen kodlardaki karmaşıklık ve kod kokusu gibi risklere dikkat çeken Tosi (2024) ile insan gözetiminin ve doğrulama süreçlerinin gerekliliğini savunan Florez Muñoz vd. (2024) gibi öncül literatürün argümanlarını C# diline özgü ampirik bulgularla derinleştirmektedir. Yapay zekanın sunduğu sentaktik başarının arkasındaki yapısal eksiklikleri (modülerlik, istisna yönetimi vb.) göstererek önceki araştırmaların güvenlik ve sürdürülebilirlik kaygılarını doğrulamaktadır.
Yazılım mühendisliğinde yapay zeka entegrasyonuna odaklanan bir literatür taraması için bu çalışma, popüler dil modellerinin (ChatGPT, Gemini, Claude, Copilot) performans hiyerarşisini hem temel algoritmik mantık hem de nesne yönelimli programlama (OOP) düzeyinde eş zamanlı sunarak kritik bir sentez kaynağı oluşturur. Özellikle uç durum testlerinin (edge cases) metodolojik bir kalite standardı olarak nasıl yapılandırılması gerektiğini göstererek, akademik taramalara yapay zeka çıktılarının doğrulanmasında çok boyutlu bir değerlendirme matrisi kazandırır.
Kaynakça
- Calp, M. H., & Arici, N. (2011). Nesne yönelimli tasarım metrikleri ve kalite özellikleriyle ilişkisi. Politeknik Dergisi, 14(1), 9-14.
Tez ve Makale Araştırmalarında Kullanım
Makalenin doğrulanmış yöntemi, bulguları ve kuramsal çerçevesi; tez ve makale çalışmalarında kullanılacağı bölümle birlikte aşağıdaki üç araştırma taslağına dönüştürülmüştür.
Tez veya makalede kullanım · literatüre-review
Üretken yapay zeka modelleri sentaktik olarak doğru kod üretseler de ileri düzey yazılım mühendisliği pratiklerinde yetersizlik göstermektedir.
Tez çalışmasının literatür taraması bölümünde, büyük dil modellerinin kod üretimindeki yapısal sınırı ve insan denetimi gerekliliği tartışılırken bu çalışmanın ampirik tespiti referans gösterilebilir(Şeker & Kaynarpınar, 2025).
Çoklu İş Parçacıklı Yazılım Tasarımlarında Üretken Yapay Zeka Modellerinin Singleton Tasarım Kalıbı Kararlılık Analizi
- Araştırma sorusu
- Üretken yapay zeka modelleri tarafından C# dilinde yazılan Singleton tasarım kalıbı çözümleri, eşzamanlı (multi-thread) erişim uç durumlarında thread-safety ilkelerini ne düzeyde koruyabilmektedir?
- Yöntem taslağı
- Deneysel tasarımda, ChatGPT-4o, Gemini 2.5, Claude 3 ve Copilot modellerine Singleton kalıbı ürettirilecektir. Üretilen kodlar, .NET 8.0 ortamında paralel test senaryolarına (Task Parallel Library ile 1000 eşzamanlı istek) tabi tutulacak, çoklu örnek oluşturma hataları statik ve dinamik analizlerle test edilecektir.
Makaleyle bağlantısı: Makalenin Tablo 22'deki Singleton uç durum analizinde ChatGPT dışındaki modellerin (Gemini, Copilot, Claude) çoklu iş parçacığı senaryolarında başarısız olduğu ve '!' (hatalı sonuç) ürettiği tespitinden yola çıkılarak bu açık sınırlılığın derinleştirilmesi hedeflenmiştir(Şeker & Kaynarpınar, 2025).
Tez veya makalede kullanım · Tartışma
Temel algoritma çözümlerinde modeller arasında uç durumlara uyum açısından belirgin performans farkları bulunmaktadır.
Kendi geliştirdiği yazılım test yöntemini ya da yapay zeka performansını tartışan bir tezde, ChatGPT'nin %96'lık sınır durum başarısı ve diğer modellerle olan hiyerarşisi karşılaştırma verisi olarak kullanılır(Şeker & Kaynarpınar, 2025).
Gelişmiş Komut Mühendisliği Tekniklerinin Büyük Dil Modellerinin Kod İstisna Yönetimi Performansına Etkisi
- Araştırma sorusu
- Rol tanımlama ve az örnekli öğrenme (few-shot prompting) gibi gelişmiş komut mühendisliği yaklaşımları, yapay zeka modellerinin C# OOP kodlarındaki özel istisna (custom exception) fırlatma ve yakalama doğruluğunu ne ölçüde artırır?
- Yöntem taslağı
- Yarı deneysel desende, doğrudan yönlendirme (direct prompting) ile sistem seviyesinde zenginleştirilmiş yönlendirmeler karşılaştırılacaktır. En az 30 farklı bankacılık ve veri akışı OOP senaryosu üzerinde, modellerin fırlattığı özel istisnaların doğruluğu birim test araçlarıyla ölçülecektir.
Makaleyle bağlantısı: Yazarların sonuç kısmında komut mühendisliği becerilerinin (prompt engineering) yapay zeka çıktılarının kalitesini artırmadaki kritik rolüne yönelik vurgusundan ve modellerin istisna yönetimindeki genel yetersizlik bulgularından türetilmiştir(Şeker & Kaynarpınar, 2025).
Tez veya makalede kullanım · Tartışma
Nesne yönelimli programlama mimarilerinde yapay zeka modellerinin uç durumlardaki kararlılığı algoritma görevlerine göre düşüş sergilemektedir.
OOP yapılarının yapay zeka tarafından inşası sırasındaki istisna yönetimi zayıflıklarını açıklamak için ChatGPT (%90) ve Gemini'nin (%88) başı çektiği başarı oranları ampirik kanıt olarak sunulacaktır(Şeker & Kaynarpınar, 2025).
Büyük Dil Modellerinin C# Birim Test (Unit Test) Üretimindeki Kod Kapsama Oranı ve Güvenilirlik Analizi
- Araştırma sorusu
- ChatGPT ve Claude modellerinin C# sınıfları için ürettiği birim test kodları, xUnit ortamında çalıştırıldığında ne kadarlık bir kod kapsamı (code coverage) oranı sağlamakta ve uç durumları ne ölçüde yakalayabilmektedir?
- Yöntem taslağı
- Ampirik-gözlemsel desende, hazır bir C# kütüphanesindeki karmaşık metotlar için yapay zekaya birim testler yazdırılacaktır. Visual Studio Coverage araçlarıyla kod kapsama oranları ölçülecek ve yapay zeka birim testlerinin kalitesi analiz edilecektir.
Makaleyle bağlantısı: Çalışmanın Tablo 24'teki karşılaştırmasında, tüm modellerin (ChatGPT, Gemini, Claude, Copilot) birim test geliştirme (Unit Test Development) kriterinde tamamen yetersiz kalmasından ('X' almasından) hareketle bu boşluğu doldurmak üzere tasarlanmıştır(Şeker & Kaynarpınar, 2025).