Nicel araştırma makalesi incelemesi

Makine Öğrenimi Uygulamalarında Karar Verilen Örneklem Büyüklüğünün Değerlendirilmesi

Makine öğrenimi çalışmalarında yetersiz örneklem büyüklüğü veride aşırı öğrenmeye (overfitting) ve gerçek etkilerin tespit edilememesine yol açarken, aşırı büyük örneklemler yüksek maliyet ve zaman kaybına sebep olmaktadır.

Makalenin anahtar kelimeleri

Yazar: Daniyal Rajput et al.
Yayın: BMC Bioinformatics
Tarih: 2023-02-14
DOI: 10.1186/s12859-023-05156-9

Makalenin Kapsamı ve Akademik İçeriği

Makine öğrenimi yöntemlerinin biyotıp ve veri bilimi araştırmalarında yaygınlaşması, güvenilir model kestirimleri için ne kadarlık bir örneklem büyüklüğünün yeterli olduğu sorusunu gündeme getirmiştir. Geleneksel istatistiksel güç analizi ve etki büyüklüğü formülleri, genellikle geçmiş çalışmalardan alınan ortalama ve varyans değerlerine dayandığından yayın yanlılığı ve deneysel detay eksikliği nedeniyle makine öğrenimi senaryolarında yetersiz kalmaktadır. Küçük örneklemler veri kümesindeki gürültüden etkilenerek aşırı öğrenmeye (overfitting) ve yapay yüksek doğruluk oranlarına yol açarken, gereğinden fazla büyük örneklemler ise yüksek hesaplama maliyeti ve kaynak israfına sebep olmaktadır. Bu bağlamda araştırma, makine öğrenimi sınıflandırıcılarının başarımı ile veri kümesinin ortalama ve genel etki büyüklükleri arasındaki dinamik ilişkiyi çözümlemeyi odak noktasına almaktadır.

Araştırmanın temel amacı, makine öğrenimi uygulamalarında karar verilen örneklem büyüklüğünün yeterliliğini değerlendirmek üzere istatistiksel etki büyüklüğü ile sınıflandırma başarımını birleştiren objektif kriterler ortaya koymaktır. Yazar kadrosu bu doğrultuda 16 ile 2500 arasında değişen örneklem boyutlarında simüle edilmiş veri kümeleri ile aritmik kalp ritmi (arrhythmia), kalp krizi (heart attack) ve uyku düzeni olmak üzere üç farklı gerçek biyotıp verisini incelemiştir. Destek vektör makineleri (SVM), lojistik regresyon (LR), karar ağaçları (DT), yapay sınır ağları (NN) ve Naive Bayes (NB) olmak üzere beş farklı sınıflandırıcı algoritması kullanılmış, modellerin doğruluğu ve kararlılığı 10 katlı çapraz doğrulama yöntemi ile 100 iterasyon boyunca sınanmıştır.

Elde edilen deneysel bulgular, iki sınıfı ayırma gücü yüksek (etki büyüklüğü en az 0,5 olan) iyi nitelikli veri kümelerinde örneklem boyutu arttıkça sınıflandırma doğruluğunun arttığını ve etki büyüklüğündeki varyansın azalarak kararlı bir platoya ulaştığını göstermektedir. Aritmi ve kalp krizi veri kümelerinde sınıflandırma doğruluğu yüzde 80 eşiğini aşarken, ortalama ve genel etki büyüklükleri arasındaki farkın tespit edilmesi örneklem değerlendirmesindeki taraflılığı önlemiştir. Belirsiz özellikler taşıyan uyku veri kümesinde ise örneklem boyutu 1500 seviyesine çıkarılsa dahi başarım yüzde 70'in altında kalmış ve etki büyüklüğü düşmeye devam etmiştir. Buradan hareketle çalışma, bir örneklemin uygun sayılması için en az 0,5 etki büyüklüğü ve en az yüzde 80 makine öğrenimi doğruluğu sağlanması gerektiğini kanıtlamıştır.

Tartışma ve sonuç bölümünde vurgulandığı üzere, kritik bir örneklem eşiğine ulaşıldıktan sonra örneklem sayısını daha fazla artırmak sınıflandırma başarımında ve etki büyüklüğünde anlamlı bir iyileşme sağlamamakta, yalnızca maliyeti artırmaktadır. Çalışmanın literatüre sağladığı temel katkı, geçmiş araştırmaların taraflı parametrelerine bağımlı kalmaksızın mevcut veri üzerinden hem ortalama hem de genel etki büyüklüğünü makine öğrenimi doğruluğuyla entegre eden iki aşamalı pratik bir değerlendirme çerçevesi sunmasıdır. Araştırmacılar ve hakemler için geliştirilen bu kriterler, veri toplama süreçlerinde maliyet-etkinlik dengesini kurmaya yardımcı olmakta ve ampirik çalışmalarda örneklem yeterliliğinin metodolojik olarak doğrulanmasını kolaylaştırmaktadır.

Araştırmanın amacı

Bu çalışmanın amacı, simüle edilmiş ve gerçek veri kümeleri üzerinde makine öğrenimi sınıflandırıcılarının performansı ile genel ve ortalama etki büyüklükleri arasındaki ilişkiyi inceleyerek makine öğrenimi araştırmalarında belirlenen örneklem büyüklüğünü değerlendirmeye yönelik pratik kriterler geliştirmektir(Rajput et al., 2023).

İnceleme ve modelleme yöntemi

Çalışmada, makine öğrenimi modellerinde örneklem büyüklüğünün performans ve etki büyüklükleri üzerindeki etkisini değerlendirmek amacıyla simüle edilmiş veri kümeleri ile aritmi, kalp krizi ve uyku durumlarını içeren üç farklı gerçek veri kümesi kullanılarak deneysel ve nicel bir simülasyon yaklaşımı benimsenmiştir(Rajput et al., 2023).

Kuramsal ve kavramsal çerçeve

Çalışma, Cohen'in istatistiksel güç ve etki büyüklüğü kuramı ile makine öğreniminde aşırı öğrenme (overfitting) ve veri kalitesi ilkelerine dayanmaktadır. Ortalama etki büyüklüğü (average effect size) ve genel etki büyüklüğü (grand effect size) parametreleri sınıflandırıcı başarımıyla bütünleştirilmiştir.

Makalenin ele aldığı literatür

Çalışma, geleneksel örneklem büyüklüğü belirleme yöntemlerinde a priori etki büyüklüğü hesaplama yanılsamalarını (Button et al., 2013; Friston, 2012) ve makine öğrenimi uygulamalarında küçük örneklemlerin yarattığı aşırı öğrenme veya yanıltıcı yüksek başarım sorunlarını (Vabalas et al., 2019; Cui & Gong, 2018) ele almaktadır.

Araştırma Tasarımı

Evren veya inceleme alanı: Makine öğrenimi tabanlı biyotıp ve sağlık bilgi sistemleri uygulamaları ile klinik teşhis araştırmaları.
Örneklem veya araştırma materyali: Simüle edilmiş 16-2500 örneklemli veri kümeleri; UCI Machine Learning Repository'den alınan 276 hastaya ait 14 öznitelikli kalp krizi verisi, PhysioNet'ten alınan 5000 kalp atımı içeren MIT-BIH Aritmi verisi ve 120 kadın uyku günlüğünden elde edilen 3000 örneklemli uyku veri kümesi.
Veri toplama süreci: Aritmi ve kalp krizi verileri açık erişimli PhysioNet ve UCI Machine Learning veri tabanlarından; uyku verileri bir aylık süreçte tutulan 120 kadın uyku günlüğünden derlenmiş, simüle veriler ise ortalama ve varyans parametreleri değiştirilerek denklem temelinde üretilmiştir.
Veri analiz yöntemi: 10 katlı çapraz doğrulama ile desteklenen 5 farklı makine öğrenimi algoritmasının (SVM, LR, DT, NN, NB) sınıflandırma başarımları hesaplanmış; ortalama ve genel Cohen d etki büyüklükleri formüle edilerek 100 tekrarlı rastgele örnekleme simülasyonlarıyla analiz edilmiştir.

Örneklem BüyüklüğüOrtalama Etki BüyüklüğüGenel Etki BüyüklüğüSınıflandırma DoğruluğuAşırı Öğrenme (Overfitting)Çapraz Doğrulama

Araştırmanın Bulguları

İyi ayırt etme gücüne ve yüksek etki büyüklüğüne (0.5 ve üzeri) sahip veri kümelerinde, örneklem büyüklüğü arttıkça makine öğrenimi modellerinin doğruluk oranları artmakta ve etki büyüklüklerindeki varyans belirgin şekilde daralmaktadır(Rajput et al., 2023).

Ayırt etme gücü zayıf ve etki büyüklüğü düşük olan belirsiz veri kümelerinde, örneklem büyüklüğünün artırılması sınıflandırma doğrusallığını ve modellerin başarısını iyileştirmemekte, doğruluk oranı %70'in altında kalmaktadır(Rajput et al., 2023).

Düşük örneklem büyüklüklerinde (16-64 arası) rastgele örnekleme etkisinden dolayı etki büyüklüğü ve doğruluk değerlerinde yüksek varyans ve dalgalanmalar gözlenirken, kritik bir örneklem eşiğinden sonra performans plato seviyesine ulaşmaktadır(Rajput et al., 2023).

Kalp krizi gibi veri kümelerinde ortalama ve genel etki büyüklükleri arasında belirgin farklılıklar bulunmaktadır; bu durum ortalama ve genel hesaplamaların birlikte değerlendirilmesinin önemini ortaya koymaktadır(Rajput et al., 2023).

Bulguların Tartışılması ve Araştırmanın Sonucu

Bulguların Yazarlar Tarafından Yorumlanışı

Yapılan simülasyon ve gerçek veri analizleri, makine öğrenimi modellerinde sınıflandırma performansının doğrudan verinin taşıdığı etki büyüklüğü ve veri kalitesiyle ilişkili olduğunu göstermektedir. Etki büyüklüğü 0.5'in üzerinde olan veri kümelerinde sınıflandırıcılar %80'in üzerinde yüksek doğruluk oranlarına ulaşırken, etki büyüklüğü düşük ve belirsiz verilerde örneklem sayısını artırmak model başarısını artırmamakta, aksine doğruluk düşük seviyelerde kalmaktadır.

Yazarlar, bu durumu verinin ayırt etme gücü ve rastgele örnekleme dalgalanmaları ile açıklamaktadır. Küçük örneklem boyutlarında (16-64 arası) rastgele örnekleme varyansı son derece yüksek olduğundan başarım değerleri aşırı öğrenme veya yapay dalgalanmalar gösterebilmektedir; fakat verinin kalitesi ve etki büyüklüğü yüksekse, belirlenen kritik örneklem eşiğinden sonra model doğruluğu plato seviyesine oturmakta ve kararlı bir çizgiye kavuşmaktadır.

Elde edilen bu bulgular, literatürdeki örneklem belirleme yaklaşımlarıyla karşılaştırıldığında önemli yenilikler sunmaktadır. Literatürde Button ve arkadaşlarının vurguladığı küçük örneklemlerdeki yanlılık ve yayın kusurları ile Friston'ın önerdiği minimum 16 örneklem eşiği bağlamında, bu çalışma literatürden alınan geçmiş parametrelere bağımlı kalmadan doğrudan mevcut veri üzerinden hem ortalama hem de genel etki büyüklüklerinin ayrı ayrı hesaplanması gerektiğini kanıtlamıştır.

Sonuç olarak yazarlar, araştırmacılar ve dergi editörleri için pratik bir değerlendirme çerçevesi çizmektedir. Karar verilen örneklem büyüklüğünün yeterli sayılabilmesi için etki büyüklüğünün en az 0.5 ve doğruluk oranının en az %80 olması gerektiği; bu koşullar sağlandıktan sonra yapılan örneklem artışlarının %10'dan az değişim yaratarak doyum noktasına ulaştığı ve gereksiz maliyet oluşturduğu vurgulanmaktadır.

Bulguların Önceki Araştırmalarla Karşılaştırılması

Yazarlar, Button ve arkadaşlarının küçük örneklemli çalışmaların analitik manipülasyonlara açık olduğu ve gerçek etki büyüklüklerini saptırdığı yönündeki vurgusunu doğrulamakta; ancak geliştirdikleri iki temel kriter sayesinde mevcut veriler üzerinden etki büyüklüğü ve model doğruluğunu eş zamanlı değerlendirerek yayın ve parametre seçim yanlılıklarının önüne geçilebileceğini göstermektedir(Rajput et al., 2023, s. 3).

Çalışmada elde edilen bulgular, Friston'ın istatistiksel olarak anlamlı sonuçlar üretebilmek için 16 konunun yeterli olabileceği ve büyük örneklemlerin iyi bir hipotez testinin yerini alamayacağı yönündeki kuramsal çıkarımını desteklemekte; veri kalitesi ve etki büyüklüğü yüksek olduğunda küçük örneklemlerin de aşırı öğrenme veya kazanan laneti riski taşımadan %80 üzeri başarım yakalayabileceğini kanıtlamaktadır(Rajput et al., 2023, s. 2).

Sonuç Bölümünün Sunduğu Çıkarımlar

Yazarlar, makine öğrenimi uygulamalarında karar verilen bir örneklem büyüklüğünün yeterliliğini değerlendirmek için iki temel kriter önermektedir: Birincisi, verinin ortalama veya genel etki büyüklüklerinden en az birinin Cohen ölçeğine göre 0.5 ve üzerinde olması; ikincisi ise makine öğrenimi sınıflandırma doğruluğunun en az %80 seviyesine ulaşması ve örneklem artışıyla doğruluktaki değişimin %10'un altına düşmesidir. Bu eşikler aşıldıktan sonra örneklem sayısını artırmak modele ek bir yarar sağlamamakta ve maliyet-etkinliği düşürmektedir(Rajput et al., 2023).

Literatür Taraması İçin Sunduğu Çerçeve

Bu çalışma, makine öğrenimi uygulamalarında örneklem büyüklüğünün yeterliliğini değerlendirmek üzere metodolojik bir standart ve pratik bir değerlendirme çerçevesi sunmaktadır. Biyotıp ve sağlık bilişimi literatüründe sıklıkla karşılaşılan yetersiz örneklem büyüklüğünden kaynaklı veri aşırı öğrenmesi (overfitting) ve yapay yüksek doğruluk oranları ile aşırı büyük örneklemlerin getirdiği yüksek finansal/zamansal maliyetler arasındaki dengesizliği hedef almaktadır. Geleneksel güç analizi yöntemlerinin geçmiş literatürden aktarılan parametreler sebebiyle taşıdığı yanlılıkları aşmak amacıyla, doğrudan mevcut veri kümesinin ortalama ve genel etki büyüklükleri ile sınıflandırma performansını bir arada değerlendiren iki temel kriter tanımlayarak metodolojik literatürde karar destek edici bir işlev üstlenmektedir.

Çalışma, literatürde küçük örneklemlerin istatistiksel güç yetersizliği ve yapay etki şişkinliğine yol açtığını savunan Button ve arkadaşlarının (2013) teorik eleştirileri ile Friston'ın (2012) minimum 16 denekli örneklem önerisini temellendirmektedir. Buna karşın, geleneksel etki büyüklüğü formüllerinde ortalama ve genel değerler arasındaki farkın göz ardı edilmesini eleştirmekte ve verinin ayırt etme gücünü bu iki etki büyüklüğü türünü ayrı ayrı hesaplayarak genişletmektedir. Vabalas ve arkadaşlarının (2019) küçük örneklemlerde sınıflandırıcı performansının aşırı yüksek çıkabileceği yönündeki bulgularını doğrulamakla birlikte, verinin kalitesi ve etki büyüklüğü yüksek olduğunda plato seviyesine ulaşan kritik örneklem eşiğini ampirik olarak kanıtlayarak önceki çalışmalardan ayrılmaktadır.

Literatür taraması yapacak araştırmacılar için bu eser, makine öğrenimi modellerinde örneklem büyüklüğünün yalnız denek sayısı üzerinden değil, verinin ayırt edici gücü ve etki büyüklüğü ile birlikte değerlendirilmesi gerektiğini gösteren metodolojik bir mihenk taşıdır. Sağlık verileri ve biyoinformatik uygulamalarında yapılan sınıflandırma çalışmalarının geçerliliğini ve tekrarlanabilirliğini sörgülamak için somut ölçütler sunmaktadır. Araştırmacıların literatürdeki yöntemsel yaklaşımları sentezlerken verinin etki büyüklüğü (>= 0.5) ve model doğruluğu (>= %80) ilişkisini metodolojik bir filtre olarak kullanmalarına olanak tanımaktadır.

Kaynakça

Button, K. S., Ioannidis, J. P., Mokrysz, C., Nosek, B. A., Flint, J., Robinson, E. S., & Munafò, M. R. (2013). Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 14(5), 365-376. https://doi.org/10.1038/nrn3475
Friston, K. (2012). Ten ironic rules for non-statistical reviewers. NeuroImage, 61(4), 1300-1310. https://doi.org/10.1016/j.neuroimage.2012.04.018

Tez ve Makale Araştırmalarında Kullanım

Makalenin doğrulanmış yöntemi, bulguları ve kuramsal çerçevesi; tez ve makale çalışmalarında kullanılacağı bölümle birlikte aşağıdaki üç araştırma taslağına dönüştürülmüştür.

Tez veya makalede kullanım · method

Makine öğrenimi çalışmalarında belirlenen örneklem büyüklüğünün yeterliliği verinin etki büyüklüğü ve model doğruluğu ile değerlendirilmelidir.

Tez veya makalenin yöntem bölümünde örneklem büyüklüğünün nasıl kararlaştırıldığını gerekçelendirirken ve seçilen örneklemin yeterliliğini savunurken kullanılır(Rajput et al., 2023, s. 7).

Biyomedikal Sinyal Sınıflandırmasında Etki Büyüklüğü Odaklı Örneklem Büyüklüğü Değerlendirmesi

Araştırma sorusu: EKG sinyallerinden aritmi tespiti yapan derin öğrenme modellerinde, kademeli olarak artırılan örneklem büyüklüklerinin ortalama ve genel etki büyüklükleri ile model performansına etkisi nedir?
Yöntem taslağı: Açık erişimli EKG veri kümelerinden rastgele örnekleme ile 16'dan başlayarak kademeli örneklem grupları oluşturulacak; destek vektör makineleri ve derin sınır ağlarının sınıflandırma doğrulukları ile etki büyüklükleri 10 katlı çapraz doğrulama ile analiz edilecektir. Örneklem büyüklüğü güç analiziyle, nitel veriler ise doygunlukla belirlenecektir.

Makaleyle bağlantısı: Makalede MIT-BIH aritmi veri kümesi üzerinde yapılan analizlerde, etki büyüklüğünün 0.5'i geçmesi ve doğruluğun %80 üzerinde plato yapması bulgusuna dayanmaktadır(Rajput et al., 2023, s. 10).

Tez veya makalede kullanım · method

Veri kümesinin ortalama veya genel etki büyüklüğünün 0.5 ve üzerinde olması model başarısı için gereklidir.

Araştırma verilerinin önişleme ve öznitelik seçimi aşamalarında, veri kümesinin ayırt etme gücünü test etmek için normatif bir eşik değer olarak başvurulur(Rajput et al., 2023, s. 10).

Kardiyovasküler Risk Tahmin Modellerinde Veri Kalitesi ve Öznitelik Değişiminin Sınıflandırıcı Başarısına Etkisi

Araştırma sorusu: Kalp krizi tahmin modellerinde öznitelik varyansının değiştirilmesi, ortalama ve genel etki büyüklükleri arasındaki farkı ve sınıflandırma doğruluğunu nasıl etkilemektedir?
Yöntem taslağı: Kardiyovasküler hasta verilerinde öznitelik seçim yöntemleri uygulanarak farklı veri kalitesi seviyeleri (%10, %50, %100) simüle edilecek; 5 farklı makine öğrenimi algoritmasının doğruluk ve etki büyüklüğü değişimleri karşılaştırılacaktır. Örneklem büyüklüğü güç analiziyle belirlenecektir.

Makaleyle bağlantısı: Makalenin tartışma bölümünde kalp krizi verisinde ortalama ve genel etki büyüklükleri arasında belirgin fark bulunduğu ve veri kalitesinin performansı doğrudan artırdığı bulgusundan türetilmiştir(Rajput et al., 2023, s. 7).

Tez veya makalede kullanım · Tartışma

Örneklem büyüklüğü arttıkça doğruluk oranındaki değişim %10'un altına düştüğünde ek örneklem toplamak modele anlamlı katkı sağlamaz.

Tartışma bölümünde elde edilen model başarımının doyum noktasına ulaştığını ve ek veri toplamanın maliyet-etkin olmadığını savunmak için kullanılır(Rajput et al., 2023, s. 10).

Belirsiz Sağlık Verilerinde Örneklem Artışının Makine Öğrenimi Performansına Sınırlarının İncelenmesi

Araştırma sorusu: Ayırt etme gücü düşük ve etki büyüklüğü 0.2'nin altında olan uyku kalitesi verilerinde örneklem sayısının artırılması sınıflandırma başarısını %80 eşiğine ulaştırabilir mi?
Yöntem taslağı: Uyku günlüğü verileri üzerinden oluşturulan belirsiz veri kümelerinde örneklem sayısı 16'dan 3000'e kadar çıkarılacak; Naive Bayes ve Lojistik Regresyon modellerinin doğruluk oranlarındaki değişim izlenecektir. Örneklem büyüklüğü güç analizi ilkesine göre doğrulanacaktır.

Makaleyle bağlantısı: Makalede belirsiz nitelikteki uyku verisinde örneklem sayısı artırılsa dahi etki büyüklüğü ve doğruluğun düşük kaldığı ve doyum noktasına ulaşılamadığı yönündeki açık sınırlılık ve bulgudan türetilmiştir(Rajput et al., 2023, s. 10).