Nicel araştırma · 2023
Evaluation of a decided sample size in machine learning applications
Okur sorusu
Yazarlar, makine öğrenimi uygulamalarında karar verilen bir örneklem büyüklüğünün yeterliliğini değerlendirmek için iki temel kriter önermektedir: Birincisi, verinin ortalama veya genel etki büyüklüklerinden en az birinin Cohen ölçeğine göre 0.
Öne çıkanlar
Makine öğrenimi yöntemlerinin biyotıp ve veri bilimi araştırmalarında yaygınlaşması, güvenilir model kestirimleri için ne kadarlık bir örneklem büyüklüğünün yeterli olduğu sorusunu gündeme getirmiştir. Geleneksel istatistiksel güç analizi ve etki büyüklüğü formülleri, genellikle geçmiş çalışmalardan alınan ortalama ve varyans değerlerine dayandığından yayın yanlılığı ve deneysel detay eksikliği nedeniyle makine öğrenimi senaryolarında yetersiz kalmaktadır. Küçük örneklemler veri kümesindeki gürültüden etkilenerek aşırı öğrenmeye (overfitting) ve yapay yüksek doğruluk oranlarına yol açarken, gereğinden fazla büyük örneklemler ise yüksek hesaplama maliyeti ve kaynak israfına sebep olmaktadır. Bu bağlamda araştırma, makine öğrenimi sınıflandırıcılarının başarımı ile veri kümesinin ortalama ve genel etki büyüklükleri arasındaki dinamik ilişkiyi çözümlemeyi odak noktasına almaktadır.
Araştırmanın temel amacı, makine öğrenimi uygulamalarında karar verilen örneklem büyüklüğünün yeterliliğini değerlendirmek üzere istatistiksel etki büyüklüğü ile sınıflandırma başarımını birleştiren objektif kriterler ortaya koymaktır. Yazar kadrosu bu doğrultuda 16 ile 2500 arasında değişen örneklem boyutlarında simüle edilmiş veri kümeleri ile aritmik kalp ritmi (arrhythmia), kalp krizi (heart attack) ve uyku düzeni olmak üzere üç farklı gerçek biyotıp verisini incelemiştir. Destek vektör makineleri (SVM), lojistik regresyon (LR), karar ağaçları (DT), yapay sınır ağları (NN) ve Naive Bayes (NB) olmak üzere beş farklı sınıflandırıcı algoritması kullanılmış, modellerin doğruluğu ve kararlılığı 10 katlı çapraz doğrulama yöntemi ile 100 iterasyon boyunca sınanmıştır.
Elde edilen deneysel bulgular, iki sınıfı ayırma gücü yüksek (etki büyüklüğü en az 0,5 olan) iyi nitelikli veri kümelerinde örneklem boyutu arttıkça sınıflandırma doğruluğunun arttığını ve etki büyüklüğündeki varyansın azalarak kararlı bir platoya ulaştığını göstermektedir. Aritmi ve kalp krizi veri kümelerinde sınıflandırma doğruluğu yüzde 80 eşiğini aşarken, ortalama ve genel etki büyüklükleri arasındaki farkın tespit edilmesi örneklem değerlendirmesindeki taraflılığı önlemiştir. Belirsiz özellikler taşıyan uyku veri kümesinde ise örneklem boyutu 1500 seviyesine çıkarılsa dahi başarım yüzde 70'in altında kalmış ve etki büyüklüğü düşmeye devam etmiştir. Buradan hareketle çalışma, bir örneklemin uygun sayılması için en az 0,5 etki büyüklüğü ve en az yüzde 80 makine öğrenimi doğruluğu sağlanması gerektiğini kanıtlamıştır.
Tartışma ve sonuç bölümünde vurgulandığı üzere, kritik bir örneklem eşiğine ulaşıldıktan sonra örneklem sayısını daha fazla artırmak sınıflandırma başarımında ve etki büyüklüğünde anlamlı bir iyileşme sağlamamakta, yalnızca maliyeti artırmaktadır. Çalışmanın literatüre sağladığı temel katkı, geçmiş araştırmaların taraflı parametrelerine bağımlı kalmaksızın mevcut veri üzerinden hem ortalama hem de genel etki büyüklüğünü makine öğrenimi doğruluğuyla entegre eden iki aşamalı pratik bir değerlendirme çerçevesi sunmasıdır. Araştırmacılar ve hakemler için geliştirilen bu kriterler, veri toplama süreçlerinde maliyet-etkinlik dengesini kurmaya yardımcı olmakta ve ampirik çalışmalarda örneklem yeterliliğinin metodolojik olarak doğrulanmasını kolaylaştırmaktadır.
Çalışma, Cohen'in istatistiksel güç ve etki büyüklüğü kuramı ile makine öğreniminde aşırı öğrenme (overfitting) ve veri kalitesi ilkelerine dayanmaktadır. Ortalama etki büyüklüğü (average effect size) ve genel etki büyüklüğü (grand effect size) parametreleri sınıflandırıcı başarımıyla bütünleştirilmiştir.
Çalışma, geleneksel örneklem büyüklüğü belirleme yöntemlerinde a priori etki büyüklüğü hesaplama yanılsamalarını (Button et al., 2013; Friston, 2012) ve makine öğrenimi uygulamalarında küçük örneklemlerin yarattığı aşırı öğrenme veya yanıltıcı yüksek başarım sorunlarını (Vabalas et al., 2019; Cui & Gong, 2018) ele almaktadır.
Bu çalışmanın amacı, simüle edilmiş ve gerçek veri kümeleri üzerinde makine öğrenimi sınıflandırıcılarının performansı ile genel ve ortalama etki büyüklükleri arasındaki ilişkiyi inceleyerek makine öğrenimi araştırmalarında belirlenen örneklem büyüklüğünü değerlendirmeye yönelik pratik kriterler geliştirmektir (Rajput et al., 2023).
Çalışmada, makine öğrenimi modellerinde örneklem büyüklüğünün performans ve etki büyüklükleri üzerindeki etkisini değerlendirmek amacıyla simüle edilmiş veri kümeleri ile aritmi, kalp krizi ve uyku durumlarını içeren üç farklı gerçek veri kümesi kullanılarak deneysel ve nicel bir simülasyon yaklaşımı benimsenmiştir (Rajput et al., 2023).
İyi ayırt etme gücüne ve yüksek etki büyüklüğüne (0 5 ve üzeri) sahip veri kümelerinde, örneklem büyüklüğü arttıkça makine öğrenimi modellerinin doğruluk oranları artmakta ve etki büyüklüklerindeki varyans belirgin şekilde daralmaktadır. (Rajput et al., 2023).
Ayırt etme gücü zayıf ve etki büyüklüğü düşük olan belirsiz veri kümelerinde, örneklem büyüklüğünün artırılması sınıflandırma doğrusallığını ve modellerin başarısını iyileştirmemekte, doğruluk oranı %70'in altında kalmaktadır (Rajput et al., 2023).
Düşük örneklem büyüklüklerinde (16-64 arası) rastgele örnekleme etkisinden dolayı etki büyüklüğü ve doğruluk değerlerinde yüksek varyans ve dalgalanmalar gözlenirken, kritik bir örneklem eşiğinden sonra performans plato seviyesine ulaşmaktadır (Rajput et al., 2023).
Kalp krizi gibi veri kümelerinde ortalama ve genel etki büyüklükleri arasında belirgin farklılıklar bulunmaktadır; bu durum ortalama ve genel hesaplamaların birlikte değerlendirilmesinin önemini ortaya koymaktadır (Rajput et al., 2023).
Yapılan simülasyon ve gerçek veri analizleri, makine öğrenimi modellerinde sınıflandırma performansının doğrudan verinin taşıdığı etki büyüklüğü ve veri kalitesiyle ilişkili olduğunu göstermektedir. Etki büyüklüğü 0.5'in üzerinde olan veri kümelerinde sınıflandırıcılar %80'in üzerinde yüksek doğruluk oranlarına ulaşırken, etki büyüklüğü düşük ve belirsiz verilerde örneklem sayısını artırmak model başarısını artırmamakta, aksine doğruluk düşük seviyelerde kalmaktadır.
Yazarlar, bu durumu verinin ayırt etme gücü ve rastgele örnekleme dalgalanmaları ile açıklamaktadır. Küçük örneklem boyutlarında (16-64 arası) rastgele örnekleme varyansı son derece yüksek olduğundan başarım değerleri aşırı öğrenme veya yapay dalgalanmalar gösterebilmektedir; fakat verinin kalitesi ve etki büyüklüğü yüksekse, belirlenen kritik örneklem eşiğinden sonra model doğruluğu plato seviyesine oturmakta ve kararlı bir çizgiye kavuşmaktadır.
Elde edilen bu bulgular, literatürdeki örneklem belirleme yaklaşımlarıyla karşılaştırıldığında önemli yenilikler sunmaktadır. Literatürde Button ve arkadaşlarının vurguladığı küçük örneklemlerdeki yanlılık ve yayın kusurları ile Friston'ın önerdiği minimum 16 örneklem eşiği bağlamında, bu çalışma literatürden alınan geçmiş parametrelere bağımlı kalmadan doğrudan mevcut veri üzerinden hem ortalama hem de genel etki büyüklüklerinin ayrı ayrı hesaplanması gerektiğini kanıtlamıştır.
Sonuç olarak yazarlar, araştırmacılar ve dergi editörleri için pratik bir değerlendirme çerçevesi çizmektedir. Karar verilen örneklem büyüklüğünün yeterli sayılabilmesi için etki büyüklüğünün en az 0.5 ve doğruluk oranının en az %80 olması gerektiği; bu koşullar sağlandıktan sonra yapılan örneklem artışlarının %10'dan az değişim yaratarak doyum noktasına ulaştığı ve gereksiz maliyet oluşturduğu vurgulanmaktadır.
Yazarlar, Button ve arkadaşlarının küçük örneklemli çalışmaların analitik manipülasyonlara açık olduğu ve gerçek etki büyüklüklerini saptırdığı yönündeki vurgusunu doğrulamakta; ancak geliştirdikleri iki temel kriter sayesinde mevcut veriler üzerinden etki büyüklüğü ve model doğruluğunu eş zamanlı değerlendirerek yayın ve parametre seçim yanlılıklarının önüne geçilebileceğini göstermektedir (Rajput et al., 2023, s. 3).
Çalışmada elde edilen bulgular, Friston'ın istatistiksel olarak anlamlı sonuçlar üretebilmek için 16 konunun yeterli olabileceği ve büyük örneklemlerin iyi bir hipotez testinin yerini alamayacağı yönündeki kuramsal çıkarımını desteklemekte; veri kalitesi ve etki büyüklüğü yüksek olduğunda küçük örneklemlerin de aşırı öğrenme veya kazanan laneti riski taşımadan %80 üzeri başarım yakalayabileceğini kanıtlamaktadır (Rajput et al., 2023, s. 2).
Bu çalışma, makine öğrenimi uygulamalarında örneklem büyüklüğünün yeterliliğini değerlendirmek üzere metodolojik bir standart ve pratik bir değerlendirme çerçevesi sunmaktadır. Biyotıp ve sağlık bilişimi literatüründe sıklıkla karşılaşılan yetersiz örneklem büyüklüğünden kaynaklı veri aşırı öğrenmesi (overfitting) ve yapay yüksek doğruluk oranları ile aşırı büyük örneklemlerin getirdiği yüksek finansal/zamansal maliyetler arasındaki dengesizliği hedef almaktadır. Geleneksel güç analizi yöntemlerinin geçmiş literatürden aktarılan parametreler sebebiyle taşıdığı yanlılıkları aşmak amacıyla, doğrudan mevcut veri kümesinin ortalama ve genel etki büyüklükleri ile sınıflandırma performansını bir arada değerlendiren iki temel kriter tanımlayarak metodolojik literatürde karar destek edici bir işlev üstlenmektedir.
Çalışma, literatürde küçük örneklemlerin istatistiksel güç yetersizliği ve yapay etki şişkinliğine yol açtığını savunan Button ve arkadaşlarının (2013) teorik eleştirileri ile Friston'ın (2012) minimum 16 denekli örneklem önerisini temellendirmektedir. Buna karşın, geleneksel etki büyüklüğü formüllerinde ortalama ve genel değerler arasındaki farkın göz ardı edilmesini eleştirmekte ve verinin ayırt etme gücünü bu iki etki büyüklüğü türünü ayrı ayrı hesaplayarak genişletmektedir. Vabalas ve arkadaşlarının (2019) küçük örneklemlerde sınıflandırıcı performansının aşırı yüksek çıkabileceği yönündeki bulgularını doğrulamakla birlikte, verinin kalitesi ve etki büyüklüğü yüksek olduğunda plato seviyesine ulaşan kritik örneklem eşiğini ampirik olarak kanıtlayarak önceki çalışmalardan ayrılmaktadır.
Literatür taraması yapacak araştırmacılar için bu eser, makine öğrenimi modellerinde örneklem büyüklüğünün yalnız denek sayısı üzerinden değil, verinin ayırt edici gücü ve etki büyüklüğü ile birlikte değerlendirilmesi gerektiğini gösteren metodolojik bir mihenk taşıdır. Sağlık verileri ve biyoinformatik uygulamalarında yapılan sınıflandırma çalışmalarının geçerliliğini ve tekrarlanabilirliğini sörgülamak için somut ölçütler sunmaktadır. Araştırmacıların literatürdeki yöntemsel yaklaşımları sentezlerken verinin etki büyüklüğü (>= 0.5) ve model doğruluğu (>= %80) ilişkisini metodolojik bir filtre olarak kullanmalarına olanak tanımaktadır.
Makalenin doğrulanmış yöntemi, bulguları ve kuramsal çerçevesi; tez ve makale çalışmalarında kullanılacağı bölümle birlikte aşağıdaki araştırma taslaklarına dönüştürülmüştür.
Tez veya makalenin yöntem bölümünde örneklem büyüklüğünün nasıl kararlaştırıldığını gerekçelendirirken ve seçilen örneklemin yeterliliğini savunurken kullanılır (Rajput et al., 2023, s. 7).
Makaleyle bağlantısı: Makalede MIT-BIH aritmi veri kümesi üzerinde yapılan analizlerde, etki büyüklüğünün 0.5'i geçmesi ve doğruluğun %80 üzerinde plato yapması bulgusuna dayanmaktadır (Rajput et al., 2023, s. 10).
Araştırma verilerinin önişleme ve öznitelik seçimi aşamalarında, veri kümesinin ayırt etme gücünü test etmek için normatif bir eşik değer olarak başvurulur (Rajput et al., 2023, s. 10).
Makaleyle bağlantısı: Makalenin tartışma bölümünde kalp krizi verisinde ortalama ve genel etki büyüklükleri arasında belirgin fark bulunduğu ve veri kalitesinin performansı doğrudan artırdığı bulgusundan türetilmiştir (Rajput et al., 2023, s. 7).
Tartışma bölümünde elde edilen model başarımının doyum noktasına ulaştığını ve ek veri toplamanın maliyet-etkin olmadığını savunmak için kullanılır (Rajput et al., 2023, s. 10).
Makaleyle bağlantısı: Makalede belirsiz nitelikteki uyku verisinde örneklem sayısı artırılsa dahi etki büyüklüğü ve doğruluğun düşük kaldığı ve doyum noktasına ulaşılamadığı yönündeki açık sınırlılık ve bulgudan türetilmiştir (Rajput et al., 2023, s. 10).
Veri seti üzerinde uygulanan makine öğrenimi modelleri arasında topluluk öğrenme teknikleri en yüksek tahmin performansını gösterirken, XGBoost yöntemi 0.9881 test R2 değeri ve 11.95 test RMSE değeri ile en düşük hata oranını ve en kısa eğitim süresini elde etmiştir.
Pedram Agand ve 5 yazar · Ocean Engineering · Mühendislik ve Teknoloji
Eğitilen modeller arasında CatBoost ve Karar Ağaçları (Decision Tree) %87 ile en yüksek doğruluğa ulaşırken, XGBoost %86.87, MLP %85.98 ve Gaussian Naive Bayes %73 başarım elde etmiştir.
Vincent Zibi Mohale ve Ibidun Christiana Obagbuwa · Frontiers in Computer Science · Mühendislik ve Teknoloji
T sayıda yerel eğitilebilir kuantum kanalına sahip temel kuantum makine öğrenmesi modellerinde genelleştirme hatası en kötü durumda karekök T bölü N (sqrt(T/N)) oranıyla ölçeklenmektedir.
Matthias C. Caro ve 6 yazar · Nature Communications · Mühendislik ve Teknoloji