Kapsam belirleme derlemesi incelemesi

Eğitim Verilerinde Duygu Analizi ve Görüş Madenciliği: Kapsamlı Bir Derleme

Eğitim sektöründe duygu analizi ve görüş madenciliği, öğrencilerin geri bildirimlerini pedagojik ve kurumsal düzeyde değerlendirmek amacıyla giderek daha fazla kullanılmaktadır.

Makalenin anahtar kelimeleri

Yazar: Thanveer Shaik et al.
Yayın: Natural Language Processing Journal
Tarih: 2022-12-20
DOI: 10.1016/j.nlp.2022.100003

Makalenin Kapsamı ve Akademik İçeriği

Eğitim kurumlarında dijitalleşmenin ve çevrim içi öğrenme platformlarının yaygınlaşmasıyla birlikte öğrenci geri bildirimlerinin hacmi hızla artmıştır. Ders sonu değerlendirme anketleri, öğrenim yönetim sistemlerindeki forum gönderileri ve kitleye açık çevrim içi derslerdeki yorumlar, öğretim süreçlerinin ve kurumsal kararların iyileştirilmesi açısından zengin bir nitel veri kaynağı sunmaktadır. Ancak bu büyük ölçekli metinsel verilerin insan uzmanlarca manuel olarak incelenmesi ve duygusal tonlarına göre etiketlenmesi sürdürülebilir değildir. Bu bağlamda doğal dil işleme ve yapay zekâ teknolojilerine dayalı duygu analizi ve görüş madenciliği yöntemleri, öğrencilerin duygu, düşünce ve beklentilerini otomatik olarak çözümlemede kritik bir araç olarak öne çıkmaktadır.

Bu derleme çalışması, eğitim verileri üzerinde gerçekleştirilen duygu analizi uygulamalarını, etiketleme yaklaşımlarını ve yapay zekâ algoritmalarını sistematik olarak incelemeyi amaçlamaktadır. Yazarlar analizi doküman seviyesi, cümle seviyesi, varlık seviyesi ve unsur seviyesi olmak üzere dört farklı boyutta ele almaktadır. Çalışmada sözlük ve derlem tabanlı denetimsiz etiketleme yöntemlerinin yanı sıra destek vektör makineleri, rastgele orman, konvolüsyonel sınır ağları, uzun kısa süreli bellek ağları ve BERT gibi dönüştürücü tabanlı güncel yapay zekâ mimarileri detaylıca değerlendirilmektedir. Ayrıca verilerin eğitimsel süreçlere etkisi değerlendirme, karar alma, pedagojik kavramları geliştirme ve sınav/ödev analizi alt başlıklarında kategorize edilmektedir.

İncelenen literatür bulguları, eğitime özgü geliştirilen duygu analizi modellerinin genel amaçlı ticari araçlara kıyasla daha yüksek doğruluk ve anlamsal hassasiyet sergilediğini göstermektedir. Makine öğrenimi ve derin öğrenme algoritmalarının, özellikle unsur tabanlı duygu analizi (ABSA) ile birleştirildiğinde öğretim elemanı, ders içeriği, ödevler ve teknik altyapı gibi spesifik unsurlara yönelik öğrenci tutumlarını başarıyla tespit ettiği belirlenmiştir. Buna karşın, çoklu kutupluluk, eş seslilik ve çok anlamlılık, olumsuzluk ekleri ve ifadeleri ile görüş spamı tespiti gibi teknik zorlukların duygu analizinin eğitim alanındaki başarısını sınırlayan temel etmenler olduğu vurgulanmaktadır.

Sonuç olarak çalışma, eğitim verileri üzerinde yürütülen duygu analizinin yalnızca teknik bir sınıflandırma görevi olmadığını, pedagojik karar alma ve öğrenci başarısını artırma süreçlerinin ayrılmaz bir parçası olduğunu göstermektedir. Gelecek araştırmalar için genel dil modelleri yerine doğrudan eğitim söylemine ve terminolojisine uygun eğitime özgü denetimsiz etiketleme ve sözlük sistemlerinin geliştirilmesi gerekliliği ortaya koyulmaktadır. Ayrıca çok modlu verilerin entegrasyonu ve pekiştirmeli öğrenme tabanlı eğitsel diyalog sistemleri aracılığıyla kişiselleştirilmiş öğrenme deneyimlerinin desteklenmesi, alanın gelecekteki en önemli çalışma yönleri olarak işaret edilmektedir.

Araştırmanın amacı

Çalışmanın temel amacı, eğitim alanındaki duygu analizi ve görüş madenciliği uygulamalarını doküman, cümle, varlık ve unsur düzeylerinde incelemek, denetimsiz duygu etiketleme teknikleri ile yapay zekâ yöntemlerinin rolünü ve karşılaşılan temel zorlukları kapsamlı bir şekilde ortaya koymaktır(Shaik et al., 2022).

İnceleme ve modelleme yöntemi

Bu çalışma, eğitim alanındaki duygu analizi ve görüş madenciliği literatürünü sistematik bir alan taraması (scoping review / survey) yaklaşımıyla incelemektedir(Shaik et al., 2022).

Kuramsal ve kavramsal çerçeve

Bu derleme çalışması, Doğal Dil İşleme (NLP), Yapay Zekâ (AI), makine öğrenimi, derin öğrenme ve dönüştürücü (transformer) mimarileri kuramsal zemin olarak benimsemektedir. Öğrenci geri bildirimlerinin anlamsal ve duygusal yönünü açığa çıkarmak üzere sözlük tabanlı ve derlem tabanlı denetimsiz etiketleme yaklaşımları ile konu modelleme ve unsur tabanlı duygu analizi (ABSA) kuramsal çerçeveyi oluşturmaktadır.

Makalenin ele aldığı literatür

Çalışma, eğitim ortamlarında toplanan nicel ve nitel öğrenci geri bildirimlerinin analizine odaklanan geniş bir literatürü ele almaktadır. Sözlük tabanlı tekniklerden (SentiWordNet, VADER, Bing Opinion Lexicon) başlayarak makine öğrenimi sınıflandırıcılarına (SVM, Naive Bayes, Random Forest), derin öğrenme modellerine (CNN, LSTM) ve güncel dönüştürücü mimarilerine (BERT, RoBERTa) uzanan metodolojik gelişimi eğitimdeki değerlendirme, karar alma ve pedagojik iyileştirme süreçleriyle ilişkilendirmektedir.

Araştırma Tasarımı

Evren veya inceleme alanı: Eğitim alanında yapılmış duygu analizi ve görüş madenciliği çalışmalarını içeren akademik literatür derlemi.
Örneklem veya araştırma materyali: LMS, MOOC (Coursera, Udemy) ve Twitter platformlarından elde edilen öğrenci geri bildirimleri, forum gönderileri ve ders değerlendirme metinlerini konu alan literatürdeki hakemli makaleler ve bildiri metinleri.
Veri toplama süreci: İlgili akademik veritabanları üzerinden duygu analizi, görüş madenciliği, BERT, derin öğrenme ve öğrenci geri bildirimi anahtar kelimeleri kullanılarak yapılan kapsamlı literatür taraması.
Veri analiz yöntemi: Literatürün analiz düzeyleri (doküman, cümle, varlık, unsur), duygu etiketleme teknikleri (sözlük tabanlı, derlem tabanlı), yapay zekâ algoritmaları ve karşılaşılan teknik zorluklar başlıkları altında tematik olarak sınıflandırılması ve sentezlenmesi.

Duygu Analizi (Sentiment Analysis)Görüş Madenciliği (Opinion Mining)Unsur Tabanlı Duygu Analizi (Aspect-Based Sentiment Analysis)Derin Öğrenme (Deep Learning)Doğal Dil İşleme (NLP)

Araştırmanın Bulguları

Çevrim içi öğrenme platformlarından elde edilen öğrenci yorumlarının unsur tabanlı analizi üzerine yapılan incelemelerde, Rastgele Orman (Random Forest) algoritmasının unsur belirleme ve duygu sınıflandırmada %98'in üzerinde yüksek başarım gösterdiği saptanmıştır(Shaik et al., 2022).

Kitlesel açık çevrim içi ders (MOOC) değerlendirmelerinde geleneksel makine öğrenmesi ve derin öğrenme modelleri karşılaştırıldığında, GloVe kelime gömme yöntemiyle desteklenen LSTM derin öğrenme modelinin %95,80 ile en yüksek sınıflandırma doğruluk oranına ulaştığı görülmüştür(Shaik et al., 2022).

Yükseköğretim kurumları için geliştirilen çok katmanlı Aspect2Labels (A2L) karar destek sisteminin, etiketlenmemiş öğrenci yorumlarını %91,3 doğrulukla etiketleyerek karar alma süreçlerini kolaylaştırdığı belirlenmiştir(Shaik et al., 2022).

Duygu analizinde olumsuzluk ifadelerinin işlenmesi teknik bir zorluk teşkil etmekte olup, BiLSTM modelinin önceden etiketlenmiş metin derlemleri üzerinde %93,34 F1 skoru sağlayarak olumsuzluk bağlamını tespit etmede üstün performans gösterdiği anlaşılmıştır(Shaik et al., 2022).

Bulguların Tartışılması ve Araştırmanın Sonucu

Bulguların Yazarlar Tarafından Yorumlanışı

Eğitim verilerinde yürütülen duygu analizi ve görüş madenciliği çalışmaları, öğrenci geri bildirimlerinin yalnız sayısal puanlarla sınırlı kalmayıp nitel değerlendirmeler üzerinden anlamsal derinlik kazanabileceğini göstermektedir. Makine öğrenmesi ve derin öğrenme algoritmaları, geniş ölçekli öğrenci yorumlarını hızla sınıflandırarak ders içeriği, öğretim yöntemi ve öğretim elemanı performansına ilişkin değerli örüntüler sunmaktadır.

Yazarlar, geleneksel manuel etiketleme süreçlerinin zaman ve kaynak maliyeti nedeniyle kitlesel verilerde uygulanamaz hale geldiğini ve bu durumun yapay zekâ tabanlı denetimsiz ile yarı denetimli yöntemlerin kullanımını zorunlu kıldığını açıklamaktadır. Sözlük tabanlı ve derlem tabanlı yaklaşımlar ilk aşama etiketleme olanağı sağlarken, transformer ve dikkat mekanizmalı derin öğrenme mimarileri anlamsal bağlamı daha yüksek doğrulukla yakalamaktadır.

Tartışma bölümünde literatürdeki çalışmalarla kurulan ilişkiler, Unsur Tabanlı Duygu Analizi (ABSA) ve olumsuzluk ifadelerinin yönetimi gibi teknik alanlarda derin öğrenme modellerinin (LSTM, BiLSTM, BERT) geleneksel duygu sözlüklerine göre üstünlük sağladığını ortaya koymaktadır. Ancak genel alanda eğitilmiş duygu sözlüklerinin eğitim pedagojisine özgü terimleri kavramadaki yetersizliği, alana özgü modellerin geliştirilmesi gerekliliğini doğrulamaktadır.

Sonuç olarak, eğitim kurumlarının karar alma ve müfredat iyileştirme süreçlerinde duygu analizinden sürdürülebilir biçimde yararlanabilmeleri için eğitime özgü veri derlemleri ile ontolojik bilgi tabanlarının inşa edilmesi büyük önem taşımaktadır. Gelecek araştırmaların çok modlu verileri entegre eden ve pedagojik bağlamı dikkate alan yapay zekâ çözümlerine yönelmesi beklenmektedir.

Bulguların Önceki Araştırmalarla Karşılaştırılması

Onan (2020) tarafından yapılan çalışmada, MOOC değerlendirme metinleri üzerinde geleneksel makine öğrenmesi ve derin öğrenme yaklaşımları karşılaştırılmış; GloVe kelime gömme yöntemi ile bütünleştirilen LSTM derin öğrenme modelinin %95,80 doğruluk oranına ulaşarak geleneksel makine öğrenmesi modellerini belirgin şekilde geride bıraktığı saptanmıştır(Shaik et al., 2022).

Hussain ve arkadaşları (2022) tarafından geliştirilen Aspect2Labels (A2L) yaklaşımı, çok katmanlı konu modellemesi kullanarak etiketsiz öğrenci verilerini %91,3 doğrulukla etiketlemiş ve bu veriler üzerinden eğitilen SVM ile yapay sınır ağı modelleri sırasıyla %97 ve %93 doğruluk oranlarına ulaşmıştır(Shaik et al., 2022).

Sonuç Bölümünün Sunduğu Çıkarımlar

Yazarlar, mevcut çalışmalarda genel amaçlı denetimsiz duygu etiketleme tekniklerinin eğitim verilerindeki anlamsal özgünlükleri tam olarak karşılayamadığını vurgulayarak, gelecekteki araştırmaların eğitim alanına özel veri derlemleri ve sözlükler oluşturmaya, olumsuzluk ve anlamsal belirsizlikleri aşabilecek bilgi tabanlı yapılara odaklanması gerektiğini sonuçuna varmaktadır(Shaik et al., 2022).

Literatür Taraması İçin Sunduğu Çerçeve

Bu derleme makalesi, eğitim alanında hızla biriken nitel verilerin (öğrenci geri bildirimleri, forum yazışmaları, anket yorumları) anlamsal olarak çözümlenmesine yönelik mevcut yapay zekâ ve doğal dil işleme literatürünü sistematik bir çerçeveye oturtmaktadır. Çalışma, genel amaçlı duygu analizi araçlarının eğitim bağlamındaki sınırlılıklarını tartışarak alana özgü modellerin ve yöntemlerin gerekliliğini vurgulayan rehber bir konumda yer almaktadır. Doküman, cümle, varlık ve unsur düzeylerindeki yaklaşımları sınıflandırarak eğitim yöneticilerine ve araştırmacılarına hangi düzeydeki analizin hangi pedagojik çıktıya hizmet edeceğini açıkça göstermektedir. Böylece literatürdeki dağınık çalışmaları pedagojik ve teknik ortak paydalarda birleştirme işlevi görür.

Yazarlar, geleneksel duygu analizi literatüründe kullanılan Bing Liu, SentiWordNet ve Vader gibi genel amaçlı sözlüklerin eğitim ortamlarının kendine özgü terminolojisini ve pedagojik dilini yakalamada yetersiz kaldığını gösteren önceki çalışmalara dayanmaktadır. Önceki araştırmaların çoğunlukla tek bir algoritma veya dar kapsamlı veri setleri üzerine yoğunlaştığını belirterek, bu çalışmada makine öğrenmesi, derin öğrenme ve transformer modellerinin eğitim verilerindeki performansını toplu ve karşılaştırmalı bir biçimde sunmaktadır. Çalışma, literatürdeki yöntemsel evrimi denetimli manuel etiketlemeden, denetimsiz sözlük ve derlem tabanlı etiketlemeye ve nihayetinde dikkat mekanizmalı yapay zekâ çözümlerine doğru izleyerek önceki çalışmaların güçlü ve zayıf yönlerini sentezlemektedir.

Bu çalışma, eğitimsel veri madenciliği ve doğal dil işleme alanındaki derleme literatürüne çok boyutlu bir taksonomi kazandırmaktadır. Özellikle duygu analizinin eğitimdeki pedagojik kararlar, öğretim elemanlarının değerlendirilmesi, ders materyallerinin iyileştirilmesi ve öğrenci başarısının erken tahmini üzerindeki pratik etkilerini somut örneklerle açıklamaktadır. Araştırma, olumsuzluk ifadelerinin yönetimi, çoklu kutupluluk, çok anlamlılık ve sahte geri bildirimlerin tespiti gibi teknik zorlukları sistematik olarak ele alarak gelecekteki araştırmaların odaklanması gereken boşlukları berraklaştırmaktadır. Böylece araştırmacılara yalnızca mevcut yöntemlerin bir listesini sunmakla kalmayıp, eğitime özgü etiketleme tekniklerinin inşasına yönelik metodolojik bir yol haritası çizmektedir.

Kaynakça

Onan, A. (2020). Sentiment analysis on massive open online course evaluations: A text mining and deep learning approach. Computer Applications in Engineering Education, 29(3), 572–589. https://doi.org/10.1002/cae.22253
Hussain, S., Ayoub, M., Jilani, G., Yu, Y., Khan, A., Wahid, J. A., Butt, M. F. A., Yang, G., Moller, D. P., & Weiyan, H. (2022). Aspect2labels: A novelistic decision support system for higher educational institutions by using multi-layer topic modelling approach. Expert Systems with Applications, 209, 118119. https://doi.org/10.1016/j.eswa.2022.118119

Tez ve Makale Araştırmalarında Kullanım

Makalenin doğrulanmış yöntemi, bulguları ve kuramsal çerçevesi; tez ve makale çalışmalarında kullanılacağı bölümle birlikte aşağıdaki üç araştırma taslağına dönüştürülmüştür.

Tez veya makalede kullanım · literatüre-review

Eğitim kurumlarında ders ve eğitmen değerlendirmelerinde kullanılan nitel geri bildirimlerin otomatik analizi için Rastgele Orman (Random Forest) algoritması yüksek doğruluk sağlar.

Bu makalede incelenen Coursera ders yorumları üzerindeki analiz bulguları, Rastgele Orman algoritmasının unsur belirleme ve duygu sınıflandırmada üstün başarısını kanıtlamak için birincil literatür kanıtı olarak sunulabilir(Shaik et al., 2022).

Yükseköğretimde Ders Değerlendirme Metinlerinde Unsur Tabanlı Duygu Analizi

Araştırma sorusu: Öğrenci geri bildirimlerinde ders içeriği ve öğretim elemanı performansına yönelik unsurlar, Rastgele Orman modeliyle ne derece doğrulukla sınıflandırılabilir?
Yöntem taslağı: Yükseköğretim kurumlarından toplanan ve etik izinleri alınmış 10,000 Türkçe öğrenci geri bildirimi veri seti olarak kullanılacaktır. Metinler önce unsurlarına göre etiketlenecektir. Örneklem büyüklüğü istatistiksel güç analizi ile belirlenecektir. Rastgele Orman modeli ve destek vektör makineleri kullanılarak karşılaştırmalı sınıflandırma analizi gerçekleştirilecektir.

Makaleyle bağlantısı: Makalenin 2. bölümünde Coursera verileri üzerinde Rastgele Orman modelinin unsur belirlemede %98,01 ve duygu sınıflandırmada %99,43 F1 skoru elde ettiği bulgusundan esinlenerek Türkçe yükseköğretim bağlamına uyarlanmıştır(Shaik et al., 2022).

Tez veya makalede kullanım · Kavramsal çerçeve

Kitlesel açık çevrim içi derslerin değerlendirilmesinde, derin öğrenme tabanlı LSTM modellerinin kelime gömme (Word Embedding) teknikleriyle entegrasyonu performansı artırır.

Tezin kavramsal çerçevesinde derin öğrenme mimarilerinin eğitimdeki kullanımını temellendirirken, GloVe gömmeleriyle desteklenmiş LSTM modelinin ulaştığı %95,80'lik doğruluk oranına atıfta bulunarak model tasarımı desteklenecektir(Shaik et al., 2022).

Çevrim İçi Öğrenme Ortamlarında LSTM ve GloVe Tabanlı Duygu Sınıflandırması

Araştırma sorusu: Kitlesel açık çevrim içi ders yorumlarında GloVe kelime gömme yöntemiyle eğitilmiş LSTM modeli, geleneksel makine öğrenmesi modellerine göre ne kadar performans farkı göstermektedir?
Yöntem taslağı: Kitlesel eğitim platformlarındaki ders değerlendirme yorumlarından elde edilen büyük ölçekli veri seti üzerinde GloVe kelime gömme yaklaşımı uygulanacaktır. Derin öğrenme mimarilerinden LSTM modeli tasarlanarak doğruluk, kesinlik ve F1 skorları hesaplanacaktır. Örneklem büyüklüğü model kararlılığına göre belirlenecektir.

Makaleyle bağlantısı: Makalenin 4.1. bölümünde Onan (2020) çalışmasına dayandırılarak sunulan, LSTM ve GloVe gömme kombinasyonunun MOOC değerlendirmelerinde %95,80 ile en yüksek başarıyı elde etmesi bulgusuna dayanmaktadır(Shaik et al., 2022).

Tez veya makalede kullanım · Tartışma

Duygu analizi modellerinin gerçek dünya eğitim verilerinde başarıya ulaşabilmesi için olumsuzluk ifadelerinin (negation handling) doğru işlenmesi kritik bir öneme sahiptir.

Tezin tartışma bölümünde, geliştirilen modelin olumsuzluk ifadelerini tespit etmedeki başarısı değerlendirilirken, literatürdeki BiLSTM modelinin %93,34'lük F1 skoru referans gösterilerek karşılaştırma yapılacaktır(Shaik et al., 2022).

Türkçe Eğitim Geri Bildirimlerinde Olumsuzluk Yapılarının BiLSTM ile Modellenmesi

Araştırma sorusu: Türkçe öğrenci yorumlarındaki karmaşık olumsuzluk yapıları ve anlamsal kaymalar, BiLSTM mimarisi kullanılarak hangi doğruluk derecesinde çözümlenebilir?
Yöntem taslağı: Türkçe eğitim geri bildirimlerinden derlenen, olumsuzluk ekleri ve yapıları içeren metinler (örneklem gücü analizine dayalı büyüklükte) manuel olarak etiketlenecektir. BiLSTM modeli kurularak olumsuzluk ipuçları ve bunların diğer kelimelerle ilişkileri modellenecektir. Sonuçlar geleneksel destek vektör makineleriyle karşılaştırılacaktır.

Makaleyle bağlantısı: Makalenin 5.1. bölümünde olumsuzluk yönetiminin duygu analizindeki kritik rolü ve BiLSTM modelinin %93,34 F1 skoru ile diğer modellere üstünlük sağladığına dair literatür bulgularından yola çıkılmıştır(Shaik et al., 2022).