ChatGPT'nin USMLE Sınavındaki Performansı: Büyük Dil Modelleri Kullanılarak Yapay Zekâ Destekli Tıp Eğitimi Potansiyeli

Klinik tıp alanında yapay zekâ uygulamalarının yaygınlaşması, büyük veri setlerinin eksikliği, sağlık bilişim sistemleri arasındaki entegrasyon yetersizlikleri ve klinik serbest metinlerin düzensiz yapısı nedeniyle uzun süredir sınırlı bir düzeyde kalmıştır. Geleneksel derin öğrenme modelleri belirli alanlara özel eğitim verilerine ihtiyaç duyarken, genel amaçlı büyük dil modellerinin tıp eğitiminde ve klinik karar destek süreçlerinde ne ölçüde yetkinlik gösterebileceği belirsizliğini korumaktadır. Tıp uzmanlığının standartlaştırılmış ve üst düzey bir göstergesi olan Amerika Birleşik Devletleri Tıbbi Lisanslama Sınavı (USMLE), karmaşık klinik vakaları, karma senaryoları ve patofizyolojik mantık yürütmeyi kapsadığından yapay zekâ sistemlerinin klinik akıl yürütme becerilerini ölçmek için ideal bir zemin sunmaktadır.

Bu araştırma, OpenAI tarafından geliştirilen GPT-3.5 mimarisine dayalı ChatGPT dil modelinin, herhangi bir alana özgü ek eğitim veya pekiştirmeli müdahale olmaksızın USMLE sınavlarındaki performansını, mantıksal tutarlılığını ve klinik içgörü üretme kapasitesini değerlendirmeyi amaçlamaktadır. Çalışma kapsamında Haziran 2022 USMLE örnek sınav sorularından görsel ögeler elenerek seçilen 350 soru (Step 1: 119, Step 2CK: 102, Step 3: 122) analiz materyali olarak kullanılmıştır. Sorular modele üç farklı formatta sunulmuştur: açık uçlu istemler, doğrudan çoktan seçmeli format ve her seçeneğin gerekçelendirilmesini zorunlu kılan istemler. Model çıktılarının doğruluğu, açıklamaların mantıksal uyumu (kordans) ve sunduğu klinik içgörü yoğunluğu, birbirinden bağımsız çalışan uzman hekimler tarafından standart değerlendirme kriterleriyle puanlanmıştır.

Araştırmadan elde edilen nicel bulgular, ChatGPT modelinin özel bir tıbbi eğitim almamış olmasına rağmen USMLE'nin tüm aşamalarında yaklaşık %60 olan baraj puanına yakın veya bu barajın üzerinde bir doğruluk sergilediğini göstermektedir. Belirsiz yanıtlar hariç tutulduğunda, açık uçlu istemlerde Step 1, Step 2CK ve Step 3 için doğruluk oranları sırasıyla %75.0, %61.5 ve %68.8 olarak gerçekleşmiştir. Zorunlu gerekçelendirmeli çoktan seçmeli sorulara verilen yanıtlarda ise genel doğruluk oranları %52.4 ile %65.2 arasında değişmektedir. Yapılan nitel ve nicel değerlendirmeler, modelin ürettiği yanıtların ve açıklamaların %94.6 gibi oldukça yüksek bir oranda içsel tutarlılık taşıdığını ve tüm yanıtların %88.9'unda en az bir adet geçerli, özgün ve bariz olmayan klinik içgörü ürettiğini ortaya koymuştur.

Elde edilen sonuçlar, genel amaçlı büyük dil modellerinin tıp eğitiminde interaktif bir öğrenme yardımcısı ve gelecekte klinik karar destek mekanizmalarına entegre edilebilecek potansiyel bir araç olduğunu kanıtlar niteliktedir. Tıbbi literatüre özel olarak eğitilmiş PubMedGPT gibi modellerle karşılaştırıldığında ChatGPT'nin sergilediği yüksek başarı, genel internet metinlerindeki net ve kararlı anlatım yapısının modelin karar verme süreçlerini olumlu etkilediğini düşündürmektedir. Araştırma, yapay zekâ ve tıp eğitimi literatürüne, genel dil modellerinin tıp yetkinlik sınavlarındaki potansiyelini ilk kez baraj seviyesinde göstererek katkı sağlamakta; öğrenci odaklı tıp eğitiminde, Sokratik soru yazımında ve kişiselleştirilmiş öğrenme süreçlerinde büyük dil modellerinin oynayabileceği dönüştürücü rolü vurgulamaktadır.