Üretken Yapay Zekanın İlaç Yönetimi Görevlerinde Kullanım Bağlamı Değerlendirme Çerçevesi

Kapsamlı ilaç yönetimi, hasta güvenliğini sağlamak, olumsuz ilaç reaksiyonlarını engellemek ve tedavi optimizasyonunu gerçekleştirmek amacıyla interdisipliner sağlık ekiplerinde klinik eczacılar tarafından sunulan standart bir hizmettir. Yapay zeka ve büyük dil modellerinin klinik karar destek sistemlerine entegrasyonu hızla artmakla birlikte, mevcut yapay zeka başarıları daha çok radyolojik görüntü yorumlama veya klinik not özetleme gibi tanısal ve idari görevlerde yoğunlaşmaktadır. İlaç tedavisi planlaması ise kesin yapılandırılmış alfanümerik dozaj verileri ve karmaşık klinik akıl yürütme adımları içerdiğinden, doğrudan doğal dil işleme kalıplarıyla çözümlenememektedir. Uygun değerlendirme ölçeklerinin bulunmaması, modellerin klinik doğruluk ve mantıksal akıl yürütme kapasitelerine dair yanıltıcı bir güven duygusu yaratmakta ve ölümcül dozaj hataları riskini beraberinde getirmektedir.

Bu klinik gereksinimden hareketle yürütülen araştırmada, karma araştırma deseni kullanılarak büyük dil modellerinin ilaç yönetimi performansını değerlendirmeye yönelik standart bir ölçek geliştirilmiştir. Beş uzman klinik eczacıdan oluşan panel, ASHP uzmanlık yeterlik hedeflerini, literatür standartlarını ve İlaç Hatalarıyla İlişkili Zarar Sınıflandırmasını (HAMEC) entegre ederek CMM Değerlendirme Çerçevesini oluşturmuştur. Tasarlanan çerçeve; hasta verisi toplama, bilgi analizi ve tedavi rejimlerinin tasarımı olmak üzere üç ana görevi ve bu görevlerin alt bileşenlerini kapsayan 1-5 arası puanlama ölçeğini içermektedir. Ölçek, GPT5-Chat modeline sunulan 50 pnömoni olgusunun üçerli tekrarlarıyla üretilen 150 çıktı üzerinde üç uzman eczacı tarafından bağımsız olarak uygulanmış ve değerlendiriciler arası güvenirlik Krippendorff alfa katsayısıyla analiz edilmiştir.

Çalışmanın uygulama ve analiz bulguları, değerlendirme çerçevesinin farklı kategorilerde belirgin düzeyde değişken güvenirlik katsayılarına sahip olduğunu göstermiştir. Yapılandırılmış ve kural tabanlı olan İlaç Tedavisi Sorunu ile İlaç Tedavisi Formatı kategorilerinde değerlendiriciler arası mükemmel bir uyum (katsayı = 1.00) elde edilmiştir. Buna karşılık, Tedavi Rejimi Doğruluğu (katsayı = 0.60) ve Klinik Tercih Uyumu (katsayı = 0.58) kategorilerinde orta düzeyde uyum yakalanırken; İlgili Bilgilerin Tespiti ve Tedavi Hedefi kategorilerinde zayıf uyum gözlenmiştir. İzlem Parametreleri kategorisinde ise tesadüfi düzeyin altında negatif bir uyum katsayısı (-0.21) ortaya çıkmıştır. Ayrıca, yanıtlarında illüzyon (halüsinasyon) barındıran veya ciddi hasta zararı doğurabilecek öneriler içeren çıktılar için tanımlanan otomatik başarısızlık kriterinde klinisyenler arası uyumun oldukça düşük kaldığı saptanmıştır.

Elde edilen bulgular, yapay zekanın klinik ilaç yönetimi süreçlerine güvenli entegrasyonu için yapılandırılmış görev ölçeklerinin hayati önem taşıdığını ve tek başına genel doğruluk oranlarının yeterli olmadığını ortaya koymaktadır. Yazarlar, geliştirdikleri çerçevenin LTARC değerlendirme ilkeleriyle uyumlu olduğunu ve güvenlik ile tercih esnekliği arasında dengeli bir yapı sunduğunu vurgulamaktadır. Bu araştırma, Türk akademisyenler ve eczacılık araştırmacıları için büyük dil modellerinin klinik karar destek performansını değerlendirmede kullanılabilecek metodolojik bir altyapı sunmaktadır. Gelecek tez ve makale çalışmalarında, farklı klinik uzmanlık alanlarında ve genişletilmiş rater gruplarıyla bu çerçevenin yeniden sınanması, güvenli yapay zeka yaygınlaştırması için kritik bir referans oluşturmaktadır.

Elde edilen bulgular, büyük dil modellerinin klinik ilaç yönetimi süreçlerindeki yetkinliğini ölçmek üzere geliştirilen değerlendirme çerçevesinin yapısal ögelerde son derece kararlı sonuçlar verdiğini göstermektedir. İlaç tedavisi problemlerinin tespiti ve reçete formatının eksiksizlik derecesi gibi somut kural ve kalıplara dayanan alanlarda klinik eczacılar arasında tam bir değerlendirici uyumu sağlanmıştır. Buna karşılık, tedavi doğruluğu ve klinik tercihler gibi göreceli kararlarda uyum orta düzeye gerilemiştir.

Yazarlar, değerlendiriciler arasındaki uyum farklılığını klinik karar verme süreçlerinin doğasına ve kriterlerin esnekliğine bağlamaktadır. İzlem parametreleri ile otomatik başarısızlık kriterlerindeki düşük uyum, eczacıların klinik deneyimlerindeki ve risk algılarındaki kişisel önceliklerden kaynaklanmaktadır. Modellerin ürettiği yanıltıcı bilgilerin veya olası zararların derecelendirilmesinde net kılavuz sınırlarının bulunmaması, uzmanların aynı çıktıyı farklı risk seviyelerinde yorumlamasına yol açmıştır.

Tartışma bölümünde bu çerçeve, yapay zekanın sağlık hizmetlerinde değerlendirilmesine yönelik güvenlik, eksiksizlik, doğruluk ve tercih boyutlarını temel alan önceki çalışmalarla ilişkilendirilmiştir. Geliştirilen model, literatürdeki genel ölçeklerin ötesine geçerek kapsamlı ilaç yönetimi görevlerini alt bileşenlere ayırmış ve LTARC çerçevesi ile uyumlu bir yapı sunmuştur. Ayrıca medikal hatalara bağlı zarar sınıflandırması ölçeğinin entegre edilmesi, yapay zeka değerlendirmelerine klinik güvenlik sınırları kazandırmıştır.

Sonuç olarak, yapay zeka modellerinin klinik ortamlarda güvenle kullanılabilmesi için yalnızca genel doğruluk oranlarına değil, göreve özgü ve güvenlik odaklı değerlendirme araçlarına ihtiyaç duyulduğu vurgulanmaktadır. Gelecek araştırmalarda, farklı uzmanlık disiplinlerinden klinik değerlendiricilerin sürece dahil edilmesi ve çerçevenin farklı hastalık gruplarında sınanması önerilmektedir. Ayrıca, klinik kullanım için kabul edilebilir asgari yetkinlik ve güvenlik eşiklerinin netleştirilmesi gerektiği belirtilmiştir.

Yazarlar geliştirdikleri değerlendirme çerçevesini, büyük dil modellerinin yanıtlarını güvenlik, eksiksizlik, doğruluk ve klinik tercih boyutlarında inceleyen Zhou ve arkadaşlarının (2026) çalışması üzerine bina etmişlerdir. Ancak bu çalışmada genel boyutlar kapsamlı ilaç yönetimi alt görevlerine bölünerek spesifik klinik kriterlerle standartlaştırılmıştır (Henry et al., 2026).

Yapay zekanın klinik ortamlarda güvenle kullanılabilmesi için standart değerlendirme araçlarına duyulan ihtiyacı karşılayan bu çalışma, tıp ve mühendislik literatürü arasında köprü vazifesi görmektedir. Genellikle genel performans metriklerine (isabetlilik, F1 skoru vb.) odaklanan yapay zeka literatürüne karşılık, bu çalışma göreve özgü (CMM) ve klinik olarak tasarlanmış bir değerlendirme çerçevesi sunarak performansı çok boyutlu ele almaktadır. Klinik eczacıların karar verme süreçlerini yansıtan ve hastaya zarar verme potansiyeli olan hataları otomatik başarısızlık kriteri olarak tanımlayan bu yapı, yapay zekanın tıp pratiklerinde güvenli entegrasyonu için nesnel bir ölçüm aracı olarak işlev görmektedir.

Önceki literatürde büyük dil modellerinin (LLM) performansı genellikle tanı koyma, metin özetleme veya genel soru-cevap doğruluğu üzerinden değerlendirilmiş olup ilaç yönetimi gibi yapısal alfanümerik kesinlik ve klinik akıl yürütme gerektiren alanlara yönelik özel ölçeklerin eksikliği vurgulanmıştır. Bu çalışma, güvenlik, eksiksizlik, doğruluk ve klinik tercih boyutlarını temel alan önceki genel yapay zeka değerlendirme modellerini referans alarak bunları kapsamlı ilaç yönetimi görevlerine (CMM) uyarlamaktadır. Ayrıca, literatürdeki diğer çalışmalardan farklı olarak, ilaç hatalarından kaynaklanabilecek potansiyel zararı ölçen HAMEC derecelendirme sistemini bir otomatik başarısızlık kriteri olarak çerçeveye entegre ederek literatürü metodolojik açıdan genişletmektedir.

Bu çalışma, sağlıkta yapay zeka sistemlerinin klinik güvenliği ve değerlendirme metodolojileri üzerine yapılacak sistematik literatür taramalarına son derece kritik bir katkı sunmaktadır. Klasik yapay zeka değerlendirme çalışmalarının aksine, sadece modelin isabet oranını değil, değerlendiriciler arası uyumu (Krippendorff Alpha) ve bu uyumun klinik karar kategorilerine göre nasıl değiştiğini ampirik olarak ortaya koymaktadır. Tıbbi yapay zeka literatüründeki klinik güven sınırları ve halüsinasyon tespiti gibi çağdaş tartışmalara standartlaştırılmış bir model önerisiyle katılarak, araştırmacılara gelecekteki klinik LLM değerlendirme çalışmalarında kullanabilecekleri somut, şeffaf ve TRIPOD-LLM ilkelerine uygun bir metodolojik şablon sağlamaktadır.