Hukuki Metinlerin Sıfır Örnekli Anlamsal Etiketlenmesinde Büyük Dil Modellerinin Sıra Dışı Etkinliği

Hukuk alanında yapay zeka uygulamaları, özellikle ChatGPT ve benzeri büyük dil modellerinin yaygınlaşmasıyla birlikte ivme kazanmıştır. Hukuk uygulayıcıları ve akademisyenler, belgelere dayalı yüksek hacimli iş akışlarını otomatikleştirmek ve basitleştirmek amacıyla metin taslakları oluşturma, soru yanıtlama ve metin özetleme gibi alanlarda dil modellerinden faydalanmaktadır. Bununla birlikte, hukuki metinlerin anlamsal etiketlenmesi —örneğin bir yargı kararındaki retorik rollerin, sözleşme maddelerindeki hukuki yükümlülüklerin veya mevzuat hükümlerindeki amaçların sınıflandırılması— geleneksel olarak uzman kişilerin manuel olarak etiketlediği veri kümesi eğitimlerine dayandığı için son derece maliyetlidir. Büyük dil modellerinin sıfır örnekli öğrenme yeteneği, önceden etiketlenmiş devasa veri kümelerine ihtiyaç duymadan sadece kısa tanım cümleleriyle etiketleme yapabilme olanağı sunsa da, GPT-4 ve GPT-3.5-turbo gibi yeni nesil modellerin bu özel hukuki görevlerdeki başarısı ve maliyet-performans dengesi ayrıntılı bir ampirik inceleme gerektirmektedir.

Bu çalışmanın temel amacı, OpenAI tarafından geliştirilen GPT-4 ve GPT-3.5-turbo modellerinin hukuki metinlerin sıfır örnekli anlamsal etiketlenmesindeki başarısını değerlendirmek ve önceki nesil text-davinci-003 modeli ile geleneksel makine öğrenmesi yöntemleriyle karşılaştırmaktır. Araştırma kapsamında ABD Gaziler Temyiz Kurulu kararlarından oluşan BVA veri kümesi, ticari sözleşme maddelerini içeren CUAD veri kümesi ve halk sağlığı acil durum mevzuatını kapsayan PHASYS veri kümesi kullanılmıştır. Yöntem olarak, kısa anlamsal kategori tanımları içeren istemler hazırlanmış ve modellerin tekil istem ile toplu istem durumlarındaki sınıflandırma performansları mikro F1, kesinlik ve duyarlılık ölçütleriyle hesaplanmıştır. Geleneksel istatistiksel modellerden rastgele orman ve alan verisiyle ince ayar yapılmış RoBERTa modeli temel karşılaştırma standartları olarak deney tasarımına dahil edilmiştir.

Elde edilen bulgular, GPT-4 modelinin incelenen üç hukuki görevden ikisinde (BVA ve CUAD) önceki nesil modellere kıyasla belirgin şekilde yüksek performans gösterdiğini ortaya koymaktadır. GPT-4 modeli, BVA yargı kararı cümlelerinin retorik rollerini etiketlemede 0,82 ve CUAD sözleşme maddelerini sınıflandırmada 0,90 mikro F1 skoruna ulaşarak, binlerce veriyle eğitilmiş rastgele orman modelinin başarısını yakalamıştır. Düşük maliyetli GPT-3.5-turbo modeli ise kendisinden yirmi kat daha pahalı olan text-davinci-003 modeliyle eşdeğer bir performans sergilemiştir. Öte yandan, karmaşık hukuki ayrışmalar içeren PHASYS mevzuat veri kümesinde tüm modellerin başarısı belirgin biçimde düşmüştür. Ayrıca verilerin istem içinde toplu gruplar halinde gönderilmesinin maliyeti on kattan fazla düşürdüğü, ancak grup boyutu aşırı büyüdüğünde tahmin tutarlılığının bir miktar aşındığı tespit edilmiştir.

Sonuç olarak çalışma, büyük dil modellerinin sıfır örnekli öğrenme düzeninde hukuki metinleri anlamsal etiketlemedeki yüksek etkinliğini kanıtlayarak literatüre önemli katkılar sunmaktadır. Manuel veri seti etiketleme zorunluluğunu ortadan kaldıran bu yaklaşım, karmaşık hukuk iş akışlarına erişimi demokratikleştirme ve analitik maliyetleri radikal biçimde düşürme potansiyeline sahiptir. Yazar, doğrudan uzman insan müdahalesine olan ihtiyacı tamamen kaldırmamakla birlikte, dil modellerinin insan denetimli süreçlerde ilk aşama etiketleyicisi olarak kullanılabileceğini vurgulamaktadır. Gelecek araştırmalarda metin gruplarının sıralaması, kategori tanımlarına örnek eklenmesi ve simetrik olmayan sınıf dağılımlarının dengelenmesi gibi tekniklerin anlamsal başarım üzerindeki etkilerinin incelenmesi önerilmektedir.

Elde edilen bulgular, GPT-4 ve GPT-3.5-turbo gibi büyük dil modellerinin sıfır örnekli ortamda kısa metin tanımlarıyla hukuki metinleri yüksek doğrulukla etiketleyebildiğini göstermektedir. Özellikle GPT-4 modeli, Gaziler Temyiz Kurulu kararları ve CUAD sözleşme maddeleri üzerinde geleneksel makine öğrenmesi yaklaşımlarını geride bırakmıştır.

Yazarlar bu durumu, modern transformer mimarilerinin ve geniş ölçekli ön eğitimin sunduğu anlamsal kavrayış yeteneğine bağlamaktadır. Modelin veri kümesine özel etiketli örneklerle eğitilmeden sadece tek cümlelik kategori tanımlarıyla bu seviyede performans göstermesi, yöntemsel açıdan esnek ve düşük maliyetli bir analiz ortamı sağlamaktadır.

Tartışma bölümünde bu sonuçlar, Yu ve arkadaşlarının (2022) hukuki istem mühendisliği çalışmaları ve Hendrycks ve arkadaşlarının (2021) CUAD veri kümesi başarılarıyla ilişkilendirilmektedir. Sıfır örnekli modeller, özel eğitilmiş gözetimli modellerin bir miktar gerisinde kalsa da maliyet ve erişilebilirlik açısından belirgin bir üstünlük sunmaktadır.

Sonuç olarak çalışma, büyük dil modellerinin hukuki veri analizinde insan uzmanların yükünü hafifletme ve araştırma maliyetlerini düşürme potansiyelini ortaya koymaktadır. Bununla birlikte, hata hassasiyeti yüksek hukuki süreçlerde insan denetimli sistemlerin (human-in-the-loop) tercih edilmesi gerektiği ve model sınırlarının dikkate alınması önerilmektedir.

Yazarlar, büyük dil modellerinin hukuk alanındaki sıfır örnekli yeteneklerini Yu ve arkadaşlarının (2022) Japonya Baro Sınavı tabanlı COLIEE çıkarım görevinde elde ettiği başarıyla ilişkilendirmekte, istem mühendisliği ve sıfır örnekli öğrenmenin karmaşık hukuki metin sınıflamasında yüksek düzeyde etkili olduğunu vurgulamaktadır (Šavelka & Ashley, 2023).

Bu çalışma, yapay zeka ve hukuk disiplinlerinin kesişim noktasında, büyük dil modellerinin ince ayar (fine-tuning) yapılmaksızın yalnızca kısa tanım girdileriyle hukuki metinleri etiketleme yeteneğini ampirik olarak ortaya koyan işlevsel bir referans niteliğindedir. Literatürde daha önce ağırlıklı olarak gözetimli makine öğrenmesi ve kural tabanlı sistemlerle yürütülen retorik rol ve sözleşme maddesi sınıflandırma süreçlerinin, sıfır örnekli (zero-shot) istem mühendisliğiyle ne ölçüde gerçekleştirilebileceğini sistematik biçimde belgeler. İnceleme; içtihat kararları, sözleşme maddeleri ve mevzuat hükümleri olmak üzere üç farklı hukuki metin türünü kapsayarak büyük dil modellerinin genel anlamsal kavrayış sınırlarını haritalandırır.

Çalışma, geleneksel gözetimli yöntemlerin yüksek etiketleme maliyetine ve veri bağımlılığına dayanan yapısını sorunsallaştırarak önceki literatürden ayrılır. Walker ve arkadaşlarının (2019) Gaziler Temyiz Kurulu kararları veri seti, Hendrycks ve arkadaşlarının (2021) CUAD sözleşme kümesi ve Sweeney ve arkadaşlarının (2013) PHASYS mevzuat verisi üzerine inşa edilen analiz; bu geleneksel veri setlerini ince ayarlı modeller yerine sıfır örnekli GPT modelleriyle sınar. Yu ve arkadaşlarının (2022) hukuki istem mühendisliği çalışmalarını genişleterek, karmaşık modellerin etiketleme başarısını sadece doğruluk oranlarıyla değil, token bazlı işlem maliyetleri ve veri gruplama (batching) stratejileri bağlamında kıyaslar.

Literatür taramaları açısından bu yayın, hukuki metin işleme projelerinde veri etiketleme süreçlerinin nasıl daha sürdürülebilir ve verimli kılınabileceğine dair teorik ve pratik bir rehber sunmaktadır. Büyük dil modellerinin tek bir istem içinde birden fazla metin bloğunu işleme kapasitesini ampirik olarak değerlendirerek araştırmacılara doğruluk ve bütçe dengesini kurma noktasında kanıta dayalı bir çerçeve sağlar. Ayrıca gözetimli veri toplama süreçlerinin zorunlu olduğu varsayımını esneterek, başlangıç aşamasındaki hukuki araştırmalarda sıfır örnekli etiketlemenin keşifsel analiz aracı olarak nasıl konumlandırılabileceğini gösterir.