Kuramsal-kavramsal makale incelemesi
DOI: 10.1002/asi.24750ChatGPT ve Yeni Akademik Gerçeklik: Akademik Yayıncılıkta Yapay Zeka Tarafından Yazılan Araştırma Makaleleri ve Büyük Dil Modellerinin Etiği
Yapay zeka, makine öğrenmesi ve doğal dil işleme teknolojilerindeki hızlı gelişmeler, akademik araştırma ve yayıncılık ekosistemini köklü bir dönüşüme uğratmaktadır.
Makalenin anahtar kelimeleri
- Yazar
- Brady Lund et al.
- Yayın
- Journal of the Association for Information Science and Technology
- Tarih
- 2023-03-10
Makalenin Kapsamı ve Akademik İçeriği
Yapay zeka, makine öğrenmesi ve doğal dil işleme alanlarındaki hızlı gelişmeler, bilimsel yayıncılık ve akademik araştırma dünyasında radikal değişimleri beraberinde getirmektedir. OpenAI tarafından geliştirilen GPT-3 altyapısına dayalı ChatGPT gibi büyük dil modelleri, insan dilini taklit eden ve karmaşık akademik talepleri saniyeler içinde yanıtlayabilen yapısıyla öne çıkmaktadır. Bilimsel iletişim ortamında giderek daha fazla yer bulan bu teknolojiler, bir yandan araştırma süreçlerini verimleştiren yenilikçi imkânlar sunarken, diğer yandan yayın etiği, bilimsel dürüstlük ve bilginin niteliği açısından kritik soruları gündeme getirmektedir. Çalışma, bu teknolojilerin sunduğu imkânlar ile yarattığı etik krizleri akademik yayıncılık bağlamında kapsamlı bir şekilde çözümlemeyi hedeflemektedir.
Çalışmanın temel amacı, ChatGPT ve benzeri büyük dil modellerinin akademik yazım, editoryal değerlendirme ve hakemlik süreçlerindeki etkilerini kavramsal ve etik açılardan incelemektir. İncelemede yöntemsel olarak, yapay zeka ve doğal dil işlemenin teknik gelişim süreci özetlenmiş, GPT modellerinin denetimsiz ön eğitim ve denetimli ince ayar mekanizmaları açıklanmıştır. Makalede ampirik bir veri seti toplamak yerine, literatürdeki teorik yaklaşımlar, yayıncılık politikaları ve mevcut etik ilkeler sentezlenerek nitel bir kavramsal analiz yürütülmüştür. ChatGPT'nin metin oluşturma, dilbilgisi düzeltme, özet çıkarma ve kaynak önerme gibi işlevsel yetenekleri, akademik yayıncılık zincirinin farklı aşamaları dikkate alınarak sistematik bir biçimde değerlendirilmiştir.
Elde edilen teorik değerlendirmeler ve önermeler, ChatGPT'nin editoryal süreçlerde tekrarlayan işleri hızlandırma, metin akıcılığını artırma ve anadili İngilizce olmayan araştırmacılara dil desteği sağlama gibi önemli faydalar sunduğunu göstermektedir. Buna karşın yazar, modellerin eğitim verilerindeki önyargıları yeniden üretebileceğini, yanlış bilgi yayma riski taşıdığını ve telif hakkı ihlallerine yol açabileceğini vurgulamaktadır. Yazarın çözümlemeleri, üretken yapay zekanın tam metin oluşturma kapasitesinin akademideki mevcut 'yayın yap ya da yok ol' kültürüyle birleştiğinde, niteliksiz ve yenilikçilikten uzak yayın patlamasına sebep olabileceğini ortaya koymaktadır. Ayrıca otomatik kaynak oluşturma süreçlerinin 'Matthew Etkisi'ni pekiştirerek zaten çok atıf alan çalışmaları öne çıkarıp yeni fikirleri gölgeleyebileceği saptanmıştır.
Çalışmanın tartışma ve sonuç bölümleri, yapay zeka teknolojilerinin akademik ekosistemdeki dönüştürücü rolünü önceki literatürle ilişkilendirerek ele almaktadır. Yazar, yapay zeka araçlarının akademide etik kullanımına ilişkin net standartlar geliştirilmesi gerektiğini ve tek başına yayın sayısına dayalı akademik değerlendirme kriterlerinin gözden geçirilmesinin zorunlu olduğunu savunmaktadır. Akademik yayıncılık ve kütüphanecilik literatürü açısından bu çalışma, büyük dil modellerinin yarattığı etik riskleri sistematize etmesi ve yapay zeka tespit yazılımları geliştirme, akademik atanma ölçütlerini nitelik odaklı dönüştürme gibi somut çözüm önerileri sunması bakımından önemli bir teorik zemin oluşturmaktadır.
Araştırmanın amacı
Bu çalışma, GPT-3 ve ChatGPT gibi büyük dil modellerinin akademik yayıncılık ve bilimsel araştırmalar üzerindeki etkilerini incelemeyi ve yapay zeka destekli metin üretiminin yarattığı etik sorunları bütüncül bir çerçevede değerlendirmeyi amaçlamaktadır(Lund et al., 2023).
İnceleme ve modelleme yöntemi
Bu çalışma, yapay zeka, makine öğrenmesi ve doğal dil işleme alanındaki gelişmelerin akademik yayıncılık üzerindeki etkilerini nitel ve kavramsal bir analiz çerçevesinde inceleyen kuramsal bir araştırmadır(Lund et al., 2023).
Kuramsal ve kavramsal çerçeve
Çalışma, yapay zeka (AI), makine öğrenmesi (ML) ve doğal dil işleme (NLP) kavramsal temellerine dayanmakta; büyük dil modellerinin (LLM) çalışma ilkelerini denetimsiz ön eğitim ve denetimli ince ayar aşamalarıyla açıklamaktadır. Etik değerlendirmelerde ise bilim sosyolojisindeki Matthew Etkisi, telif hakkı hukuku ilkeleri, akademideki yayın baskısı ve etik kuramları kavramsal çerçeve olarak benimsenmiştir.
Makalenin ele aldığı literatür
Çalışmada, yapay zeka ve chatbot teknolojilerinin gelişim sürecini ele alan temel literatürün (Adamopoulou & Moussiades, 2020; Haenlein & Kaplan, 2019) yanı sıra, GPT modellerinin yapısını inceleyen çalışmalar (Floridi & Chiriatti, 2020; Radford et al., 2018) değerlendirilmiştir. Ayrıca yayın etiği, intihal ve telif hakları boyutunda Bender vd. (2021), Dehouche (2021) ve Thorp (2023) gibi araştırmacıların ortaya koyduğu riskler ile akademideki teşvik ve kadro atama sistemlerinin eleştirisi (Bedeian, 2004; Miller et al., 2011) bütüncül bir yaklaşımla ele alınmıştır.
Araştırmanın Bulguları
ChatGPT ve benzeri büyük dil modelleri, dilbilgisi düzeltme, yapılandırma ve editoryal süreçleri hızlandırma açısından akademik yazıma katkı sağlama potansiyeli taşımaktadır(Lund et al., 2023).
Yapay zeka modellerinin veri kümesindeki yanlılıklar ve algoritmik kodlama süreçleri, üretilen akademik metinlerde gizli önyargıların yayılmasına ve bilimsel dürüstlüğün zedelenmesine yol açabilmektedir(Lund et al., 2023).
Yapay zeka tarafından tamamen veya kısmen üretilen yayınlarda metin mülkiyeti, telif hakkı ihlalleri ve intihal sınırlarının belirsizleşmesi ciddi hukuki ve etik sorunlar oluşturmaktadır(Lund et al., 2023).
Otomatik kaynak gösterme ve arama sistemlerinin atıf sayılarına dayalı çalışması, halihazırda çok atıf almış yayınların öne çıkarılmasına ve akademik yayıncılıkta Matthew Etkisinin pekişmesine neden olabilmektedir(Lund et al., 2023).
Yapay zeka destekli metin üretiminin tespiti için reklam engelleyici benzeri algoritmik doğrulama yazılımlarının geliştirilmesi ve akademik değerlendirme kriterlerinin nitelik odaklı olarak dönüştürülmesi gerekmektedir(Lund et al., 2023).
Bulguların Tartışılması ve Araştırmanın Sonucu
Bulguların Yazarlar Tarafından Yorumlanışı
Araştırma bulguları, ChatGPT gibi büyük dil modellerinin akademik metin oluşturma, editoryal süreçleri kolaylaştırma ve literatür taramalarını hızlandırma noktasında kayda değer bir potansiyele sahip olduğunu göstermektedir. Ancak bu teknolojik imkânlar, metinlerin doğruluğu ve kaynak güvenilirliği açısından ciddi tereddütleri de beraberinde getirmektedir.
Yazarlar, yapay zeka modellerinin eğitim verilerindeki yanlılıkların akademik metinlere sızabileceğini ve bu durumun bilimsel nesnellik ilkesine zarar vereceğini kavramsallaştırmaktadır. Ayrıca metin mülkiyeti, telif hakları ve yazarlık statüsünün belirsizliği, akademik yayıncılıkta etik normların yeniden tanımlanmasını zorunlu kılmaktadır.
Tartışma bölümünde elde edilen tespitler mevcut literatürle ilişkilendirilmekte; atıf algoritmalarının Matthew Etkisini besleyerek kökleşmiş akademik eşitsizlikleri pekiştirebileceği vurgulanmaktadır. Akademik yükseltme sistemlerindeki nicelik odaklı 'yayın yap ya da yok ol' baskısının ise üretken yapay zeka kullanımıyla birleştiğinde yüzeysel yayın enflasyonuna yol açabileceği değerlendirilmektedir.
Sonuç olarak çalışma, yapay zekanın akademide etik ve sorumlu kullanımını sağlamak adına niteliksel değerlendirme kriterlerinin benimsenmesini ve algoritmik doğrulama yazılımlarının hayata geçirilmesini önermektedir. Bilimsel bilginin şeffaflığı ve güvenilirliği için kurumlar arası iş birliğinin kritik rol oynadığı ifade edilmektedir.
Bulguların Önceki Araştırmalarla Karşılaştırılması
Yazarlar ChatGPT'nin editoryal süreçlerde tekrarlayan görevleri hafifletebileceğini belirtirken, Stokel-Walker ve Van Noorden (2023) tarafından vurgulanan yapay zekanın bilimsel yayıncılığa getirdiği editoryal fırsatlar ve editoryal denetim gereksinimi ile doğrudan uyumlu bir tartışma yürütmektedir(Lund et al., 2023).
Yazar, ChatGPT'nin doğal dil işleme yetenekleriyle atıf süreçlerini kolaylaştırabileceğini ifade ederken, King (2022) tarafından ele alınan yapay zekanın akademik kaynak önerme ve biçimlendirme potansiyelini doğrulayıcı nitelikte bir analiz sunmaktadır(Lund et al., 2023).
Çalışmada ChatGPT'nin atıf sayılarına dayalı sıralama algoritmaları nedeniyle Matthew Etkisini derinleştirebileceği savunulmakta; bu durum Perc (2014) tarafından ampirik verilerle gösterilen önceden çok atıf almış yayınların sürekli öne çıkması eğilimiyle kavramsal olarak örtüşmektedir(Lund et al., 2023).
Yazarlar yapay zeka tespit yazılımlarının geliştirilmesi gerektiğini vurgularken, Abd-Elaal ve arkadaşlarının (2022) bilgisayar tarafından üretilen akademik metinlerin tespiti üzerine geliştirdikleri teknik doğrulama yaklaşımına dayanak oluşturmaktadır(Lund et al., 2023).
Sonuç Bölümünün Sunduğu Çıkarımlar
Çalışma, ChatGPT ve büyük dil modellerinin akademik yayıncılıkta sunduğu hıza karşın yazarlık etiği, telif hakkı belirsizlikleri ve bilgi tarafsızlığı risklerini beraberinde getirdiğini vurgulamaktadır. Yayıncılar, araştırmacılar ve yazılım geliştiricilerin iş birliğiyle şeffaf ilkeler belirlenmediği takdirde bilimsel sürece olan kamuoyu güveninin zedelenebileceği sonuçuna varılmaktadır(Lund et al., 2023).
Literatür Taraması İçin Sunduğu Çerçeve
Bu çalışma, literatürde üretken yapay zekanın akademik ekosistem üzerindeki etkilerini geniş ve bütüncül bir etik süzgeçten geçiren öncü tartışmalardan biri olarak konumlanmaktadır. Büyük dil modellerinin sadece teknik yeteneklerine odaklanmak yerine, bu teknolojilerin bilimsel bilginin dürüstlüğü, yayıncı politikaları ve akademik kariyer sistemleri üzerindeki yapısal yansımalarını eşzamanlı olarak ele alır. Böylece yapay zeka araçlarının akademik dünyadaki konumunu meşrulaştıran veya sınırlayan etik parametrelerin tanımlanmasında temel bir referans noktası görevi görür.
Çalışma, yapay zeka, makine öğrenimi ve doğal dil işleme alanındaki geçmiş araştırmaları, örneğin Merton'ın Matthew Etkisi kuramı ve akademik yayıncılıkta yayın yap ya da yok ol baskısı gibi konuları temel alarak, bu geleneksel sorunların yapay zeka çağında nasıl boyut değiştirdiğini inceler. Önceki çalışmaların daha dar teknik çerçevede ele aldığı dil modellerini, yazar mülkiyeti, telif hukuku ve yayıncılık etiği gibi kurumsal yapılarla ilişkilendirerek genişletir. Bu doğrultuda, kökleşmiş akademik sorunları yeni nesil dil teknolojilerinin işleyiş mantığıyla harmanlayan bir köprü kurar.
Literatür taramalarına yönelik temel katkısı, yapay zekanın bilimsel yayıncılıktaki potansiyel faydalarını ve doğurduğu riskleri dengeli bir sentezle sunmasıdır. Akademisyenlerin yapay zekayı bir tehdit ya da kurtarıcı olarak tek taraflı görmelerinin önüne geçerek, sorumlu entegrasyon için sistem düzeyinde öneriler geliştirir. Bu yönüyle, gelecek araştırmaların etik standartlar ve algoritmik denetim mekanizmaları inşa ederken başvurabilecekleri kapsamlı bir kavramsal altyapı sağlar.
Kaynakça
- Stokel-Walker, C., & Van Noorden, R. (2023). What ChatGPT and generative AI mean for science. Nature, 614(7947), 214-216. https://doi.org/10.1038/d41586-023-00340-6
- King, M. R. (2022). The future of AI in medicine: A perspective from a chatbot. Annals of Biomedical Engineering, 51(2), 291-295. https://doi.org/10.1007/s10439-022-03121-w
- Perc, M. (2014). The Matthew effect in empirical data. Journal of the Royal Society Interface, 11(98), 20140378. https://doi.org/10.1098/rsif.2014.0378
- Abd-Elaal, E., Gamage, S., & Mills, J. E. (2022). Assisting academics to identify computer generated writing. European Journal of Engineering Education, 47(5), 725-745. https://doi.org/10.1080/03043797.2022.2046709
Tez ve Makale Araştırmalarında Kullanım
Makalenin doğrulanmış yöntemi, bulguları ve kuramsal çerçevesi; tez ve makale çalışmalarında kullanılacağı bölümle birlikte aşağıdaki üç araştırma taslağına dönüştürülmüştür.
Tez veya makalede kullanım · literatüre-review
Yapay zeka modellerinin eğitim verilerindeki önyargılar, üretilen akademik çıktıların nesnelliğini ve bilimsel dürüstlüğünü tehlikeye atmaktadır.
Bu iddia, tez çalışmasında üretken yapay zekanın etik risklerini ve eğitim veri setlerindeki yanlılıkların bilimsel dürüstlüğe etkilerini kuramsal olarak temellendirmek için kullanılabilir(Lund et al., 2023).
Yapay Zeka Metin Tespit Algoritmalarının Akademik Metinlerdeki Doğruluk ve Duyarlılık Düzeylerinin Deneysel Analizi
- Araştırma sorusu
- Farklı akademik disiplinlerde yapay zeka ile üretilmiş metinleri tespit etmede kullanılan yazılımların hata oranları nedir?
- Yöntem taslağı
- Yazarların önerdiği algoritmik karşılaştırma sürecine dayanarak, ChatGPT tarafından ve insan akademisyenler tarafından yazılmış 100 adet makale kesitinden oluşan bir test kümesi oluşturulacaktır. Tespit yazılımlarının doğruluk, duyarlılık ve yanlış pozitif oranları hata matrisleri ve ROC analizleri ile ölçülecektir.
Makaleyle bağlantısı: Makalede, akademik yayıncıların yapay zeka üretimini tespit etmek için algoritmik yazılımlar geliştirmesi gerekliliği tartışılmakta ve bunun için anahtar kelime eşleştirme ile yapay zeka benzerlik karşılaştırmasına dayalı somut bir süreç şeması sunulmaktadır(Lund et al., 2023).
Tez veya makalede kullanım · Tartışma
Yapay zeka destekli akademik arama motorları ve atıf sistemleri, literatürde kökleşmiş Matthew Etkisini ve akademik eşitsizlikleri pekiştirme riski taşımaktadır.
Yapay zeka destekli yayıncılık araçlarının, halihazırda çok atıf alan eski çalışmaları sürekli öne çıkararak bilgi çeşitliliğini nasıl engellediğini tartışırken bu kaynaktan yararlanılabilir(Lund et al., 2023).
Büyük Dil Modellerinde Sosyo-Kültürel Yanlılıklar: GPT Tabanlı Akademik Özetlerin Analizi
- Araştırma sorusu
- ChatGPT tarafından üretilen akademik makale özetlerinde toplumsal cinsiyet ve etnisiteye dayalı örtük önyargılar ne ölçüde yansımaktadır?
- Yöntem taslağı
- Yapay zeka modellerinin veri kümesindeki yanlılık potansiyeline yönelik iddialardan hareketle, belirli anahtar kelimelerle ChatGPT'ye ürettirilen 150 adet akademik özet metni üzerinde nitel içerik analizi ve eleştirel söylem analizi uygulanarak dilsel ve anlamsal yanlılık kalıpları saptanacaktır.
Makaleyle bağlantısı: Makalenin giriş kısmında, GPT-3 gibi modellerin eğitim verilerindeki önyargıların üretilen akademik metinlere sızarak bilimsel dürüstlüğü ve adaleti zedelediğine yönelik somut analize yer verilmiştir(Lund et al., 2023).
Tez veya makalede kullanım · Kavramsal çerçeve
Akademik değerlendirme süreçlerinde niceliksel kriterlerin nitel etki analizleriyle ikame edilmesi, yapay zeka kaynaklı yayın enflasyonunun önüne geçmek için kritik bir çözümdür.
Akademik teşvik, atama ve yükseltme sistemlerinin yayın yap ya da yok ol baskısından kurtarılıp niteliksel odaklı yeniden yapılandırılmasına dair kuramsal öneriler geliştirirken bu bulgulara dayanılabilir(Lund et al., 2023).
Akademik Değerlendirme Kriterlerinin Dönüşümü: Nitelik Odaklı Yükseltme Sistemlerinin Akademisyen Algısındaki Rolü
- Araştırma sorusu
- Akademik teşvik ve yükseltme kriterlerinde yapılan niteliksel dönüşümler, akademisyenlerin yapay zekaya dayalı yayın üretme eğilimlerini nasıl etkilemektedir?
- Yöntem taslağı
- Yazarın kadro ve akademik yükseltme kriterlerinin yeniden yapılandırılması önerisinden yola çıkılarak, nitel bir fenomenolojik desen tasarlanacaktır. Farklı üniversitelerdeki 30 akademisyen ile yarı yapılandırılmış görüşmeler yapılacak ve veri doygunluğuna ulaşılana kadar süreç devam ettirilerek elde edilen veriler tematik analize tabi tutulacaktır.
Makaleyle bağlantısı: Yazarlar, ChatGPT kaynaklı etik ihlallerin kökten çözümü için yayın sayısına dayalı geleneksel yükseltme kriterlerinin reevalüasyona tabi tutulmasını ve pratik niteliksel etki odaklı değerlendirmeye geçilmesini önermektedir(Lund et al., 2023).