Sistematik derleme incelemesi

Video Transformer Modelleri: Kapsamlı Bir Literatür Taraması ve Sınıflandırma Çalışması

Video verilerinin işlenmesi, sürekli görsel sinyaller olan görüntüler ile sıralı bir yapı sunan doğal dil işlemenin kesişim noktasında yer alır. Ancak video alanı, eklenen zaman boyutu nedeniyle yüksek verisel boyutluluk, yüksek derecede bilgi fazlalığı ve dinamik hareket yapılarını modelleme gereksinimi gibi kendine özgü zorluklar barındırmaktadır.

Makalenin anahtar kelimeleri

Yazar: Javier Selva et al.
Yayın: IEEE Transactions on Pattern Analysis and Machine Intelligence
Tarih: 2023-02-09
DOI: 10.1109/tpami.2023.3243465

Makalenin Kapsamı ve Akademik İçeriği

Video verilerinin işlenmesi, sürekli uzamsal görsel sinyaller ile sıralı dizisel yapıların bir bileşimi niteliğindedir. Ancak zaman boyutunun eklenmesiyle ortaya çıkan yüksek veri boyutluluğu, yoğun bilgi fazlalığı ve karmaşık hareket dinamiklerinin modellenmesi ihtiyacı, bilgisayarlı görü alanında özgün zorluklar yaratmaktadır. Klasik evrişimli mimarilerin yerel önyargılarına alternatif olarak geliştirilen Transformer modelleri, tüm ögeler arası küresel ilişkileri kurabilme yetenekleriyle öne çıkmaktadır. Buna karşın, öz-dikkat mekanizmasının girdi dizisi uzunluğuna bağlı olarak karesel ölçeklenmesi, video verilerinin yüksek boyutluluğu ile birleştiğinde ciddi bir hesaplama darboğazı oluşturmaktadır. Bu çalışma, söz konusu teorik ve pratik kısıtlamaları aşmak adına geliştirilen Video Transformer mimarilerini bütüncül bir yaklaşımla incelemektedir.

Derleme çalışmasında, literatürde yer alan 100'ün üzerinde Video Transformer modeli metodolojik bir taksonomi çerçevesinde çözümlenmektedir. İnceleme süreci, video verisinin modele beslenmeden önceki girdi ön işleme adımlarından başlayarak mimari tasarım tercihlerine ve eğitim rejimlerine kadar uzanan üç ana aşamada yürütülmektedir. Girdi düzeyinde gömme ve belirteçleştirme stratejileri ayrıştırılmakta; mimari düzeyde karesel karmaşıklığı azaltmayı amaçlayan kısıtlanmış ve birleştirilmiş öz-dikkat yaklaşımları kategorize edilmektedir. Ayrıca uzun süreli zamansal ilişkileri yakalamaya dönük bellek ve yineleme mekanizmaları ile çoklu görünüm odaklı tasarımlar sistematik bir matris üzerinde değerlendirilmektedir. Performans karşılaştırmalarında ise Kinetics-400 ve Something-Something-v2 kıyaslama veri kümeleri temel alınmaktadır.

Sentezlenen bulgular, Video Transformer tasarımlarının başarısında ön eğitim stratejilerinin ve uzamsal-zamansal hiyerarşik yapıların belirleyici rol oynadığını göstermektedir. Özellikle MViT ve Video Swin gibi kademeli hiyerarşik mimariler, uzamsal fazlalığı azaltırken zamansal doğruluğu korumakta ve hesaplama maliyetlerini belirgin şekilde düşürmektedir. Eğitim rejimleri açısından değerlendirildiğinde, Maskeli Belirteç Modellemesi biçimindeki kendi kendine denetimli ön eğitim yaklaşımlarının, etiketsiz video verilerinden hareket ve görünüm dinamiklerini öğrenmede en yüksek başarımı sergilediği saptanmıştır. Kinetics-400 benchmark sonuçları, Video Transformer yapılarının geleneksel 3D evrişimli sınır ağlarına kıyasla daha düşük TFLOPs değerlerinde dahi daha yüksek sınıflandırma doğruluğuna ulaştığını kanıtlamaktadır.

Sonuç olarak bu derleme, video işleme hattının her aşamasında sunulan tasarım tercihlerinin teorik ve pratik yansımalarını kapsamlı bir biçimde ortaya koymaktadır. Araştırmacılar için Video Transformer modellerinin açık kalan yönleri, açıklanabilirlik eksikliği ve farklı dizi uzunluklarına genellenebilirlik sınırları üzerinden tartışılmaktadır. Çalışma, Türk araştırmacıların video analizi, hareket tanıma ve çoklu modlu yapay zeka alanlarında yürütecekleri tez ve makale çalışmalarında metodolojik bir rehber işlevi görmekte; doğru belirteçleştirme, verimli mimari seçimi ve öz-denetimli ön eğitim stratejilerinin kurgulanması adına somut bir kuramsal zemin sunmaktadır.

Araştırmanın amacı

Bu çalışma, video verilerinin modellenmesinde Transformer mimarilerinin sunduğu yenilikleri, karşılaşılan kısıtları, girdi ön işleme adımlarını, mimari verimlilik uyarlamalarını ve kendi kendine denetimli öğrenme stratejilerini kapsayıcı bir taksonomi çerçevesinde incelemeyi amaçlamaktadır(Selva et al., 2023).

İnceleme ve modelleme yöntemi

Çalışmada, 100'den fazla Video Transformer yayını girdi ön işleme, verimli mimari tasarımları ve eğitim stratejileri ekseninde sistematik bir taksonomiyle çözümlenmiştir(Selva et al., 2023).

Kuramsal ve kavramsal çerçeve

Çalışmanın kuramsal zemini, doğal dil işlemede dizisel bağımlılıkları ve uzun erimli etkileşimleri paralelleştirilebilir öz-dikkat mekanizmasıyla çözen özgün Transformer mimarisine dayanmaktadır. Görüntü ve video alanına uyarlanan bu kuramsal çerçeve, evrişimli sınır ağlarının yerel uzamsal önyargılarını ortadan kaldırarak küresel bağlam etkileşimlerini doğrudan öğrenebilmeyi mümkün kılar. Ancak video verisinin zamansal boyutuyla katlanarak artan karesel hesaplama karmaşıklığı O(N^2) ve veriye olan yüksek bağımlılık, girdi ön işleme, sınırlı ve hiyerarşik öz-dikkat mekanizmaları ile özel ön eğitim rejimlerinin kuramsal olarak tasarlanmasını zorunlu kılmaktadır.

Makalenin ele aldığı literatür

İncelenen literatür, genel vizyon Transformer taramalarının, doğal dil işleme odaklı modellerin veya çoklu modlu yapıların yüzeysel kaldığı video odaklı tasarım ihtiyaçlarına odaklanmaktadır. Makale, ViT, Video Swin, MViT, TimeSformer, ViViT ve VideoMAE gibi 100'den fazla öncü Video Transformer çalışmasını girdi işleme, mimari verimlilik düzenlemeleri, zamansal modelleme yetenekleri ve kendi kendine denetimli ön eğitim stratejileri bakımından karşılaştırmalı olarak ele almaktadır.

Araştırma Tasarımı

Evren veya inceleme alanı: Video Transformer modellerini konu alan 100'den fazla akademik yayın ile Kinetics-400 ve Something-Something-v2 kıyaslama veri setleri.
Örneklem veya araştırma materyali: Aksiyon sınıflandırma ve video temsil öğrenimi alanında 2017-2023 yılları arasında yayımlanmış 100'ü aşkın makale ve bunlara ait başarım metrikleri.
Veri toplama süreci: Literatürdeki mevcut Video Transformer mimarilerinin, girdi dönüştürme, dikkat kısıtlama, bellek mekanizmaları ve ön eğitim rejimlerinin taksonomik derlemesi.
Veri analiz yöntemi: Kinetics-400 ve Something-Something-v2 veri setlerindeki top-1 doğruluk, TFLOPs ve parametre sayılarına dayalı sistematik nitel ve nicel karşılaştırma.

Video TransformersSelf-AttentionMasked Token ModelingSpatiotemporal RedundancyInductive BiasAction Classification

Araştırmanın Bulguları

Girdi ön işleme aşamasında derin CNN gömme ağlarının kullanımı, verilerin yüksek boyutluluğunu ve uzamsal-zamansal fazlalığını azaltarak Transformer modelinin öğrenme sürecini kolaylaştırmaktadır(Selva et al., 2023).

Aşamalı hiyerarşik mimariler, uzamsal boyuttaki fazlalığı kademeli olarak küçültürken tüm seviyelerde zamansal özellikleri koruyarak ince taneli hareket özniteliklerinin kaybolmasını önlemektedir(Selva et al., 2023).

Kendi kendine denetimli Maskeli Belirteç Modellemesi (MTM), yüksek maskeleme oranları sayesinde modelin hem küresel semantik bağlamı hem de yerel hareket dinamiklerini öğrenmesini zorunlu kılmaktadır(Selva et al., 2023).

Eğitim rejimlerinde gömme ağları ile Transformer yapısının uçtan uca birlikte eğitilmesi, durğan öznitelik çıkarımına kıyasla daha yüksek temsil kapasitesi ve başarım sağlamaktadır(Selva et al., 2023).

Bulguların Tartışılması ve Araştırmanın Sonucu

Bulguların Yazarlar Tarafından Yorumlanışı

Video Transformer modellerinin incelenmesi, derin CNN gömme ağlarının yüksek boyutlu video verilerini sıkıştırmadaki ve yerel öznitelikleri yakalamadaki kritik rolünü göstermektedir. Bu yapıların tümevarımsal eğilim sunması, Transformer katmanlarının daha derin bağımlılıkları öğrenmesini kolaylaştırmaktadır.

Yazarlar, mimari verimliliği sağlamak için geliştirilen kısıtlı ve hiyerarşik dikkat mekanizmalarının uzamsal fazlalığı azalttığını, ancak zamansal sadakatin erken aşamalarda yitirilmemesi gerektiğini savunmaktadır. Aşamalı hiyerarşik tasarımlar, düşük seviyeli hareket dinamiklerinin korunmasına olanak tanımaktadır.

Tartışma bölümünde literatürdeki denetimli ve kendi kendine denetimli eğitim rejimleri karşılaştırılmakta, Maskeli Belirteç Modellemesinin (MTM) yüksek maskeleme oranlarıyla küresel semantik bağlamı etkili biçimde öğrendiği vurgulanmaktadır. Bu durum, yalnızca görüntü tabanlı ön eğitime dayanan modellere kıyasla belirgin bir başarım üstünlüğü getirmektedir.

Sonuç olarak, Video Transformer araştırmalarının geleceğinde hesaplama yükünü azaltan verimli mimariler ile çoklu modlu kendi kendine denetimli öğrenme yaklaşımlarının birleşimi öne çıkmaktadır. Uzun süreli zamansal etkileşimlerin korunması ve açıklanabilirlik araçlarının geliştirilmesi, alanın temel gelişim yönlerini oluşturmaktadır.

Bulguların Önceki Araştırmalarla Karşılaştırılması

Yazarlar, geliştirdikleri MViTv2 gibi Video Transformer modellerinin Kinetics-400 aksiyon sınıflandırma veri setinde geleneksel 3D ConvNet yapılarından (SlowFast ve X3D) daha düşük hesaplama karmaşıklığıyla (TFLOPs) daha yüksek top-1 doğruluk oranına ulaştığını göstermektedir(Selva et al., 2023).

Sonuç Bölümünün Sunduğu Çıkarımlar

Çalışma, Video Transformer modellerinin aksiyon sınıflandırma ve video temsil öğreniminde 3D ConvNet yapılarını geride bıraktığını, ancak yüksek hesaplama yükü ve tümevarımsal eğilim eksikliği gibi temel kısıtların aşılması için aşamalı hiyerarşik mimariler ile maskeli belirteç modellemesine dayalı kendi kendine denetimli ön eğitim stratejilerinin belirleyici olduğunu ortaya koymaktadır(Selva et al., 2023).

Literatür Taraması İçin Sunduğu Çerçeve

Bu derleme çalışmasi, video tabanlı Transformer modellerini giris on isleme, mimari tasarimlar ve eğitim rejimleri olmak üzere uc temel boyutta sistematik bir taksonomiye oturtarak literatürde birlestirici bir kopru gorevi ustlenmektedir. Genel vizyon derlemelerinin aksine, zamansal boyutun getirdigi yüksek karesel hesaplama karmasikligi ve bilgi fazlaligi gibi video-spesifik zorluklara odaklanmaktadir. Çalışma, araştırmacilara farklı modellerin uzamsal-zamansal ilişkileri nasıl modelledigini ve verimlilik ile basarim arasindaki odunlesimleri nasıl yonettigini gösteren teorik bir harita sunmaktadir.

Çalışma, Vaswani ve diğerleri (2017) tarafindan önerilen orijinal Transformer yapisindan baslayarak, bu yapinin dogal dil isleme disindaki alanlara, özellikle Dosovitskiy ve diğerleri (2021) tarafindan geliştirilen ViT modeli üzerinden goruntu alanina ve nihayetinde video alanina geçişini tarihsel bir süreklilik icinde ele almaktadır. Goruntu tabanlı modellerin zamansal dinamikleri yakalamadaki yetersizligini ortaya koyarak, Bertasius ve diğerleri (2021) gibi oncullerin uzamsal-zamansal ayristirma yaklaşimlari ile Fan ve diğerleri (2021) tarafindan önerilen cok ölçekli tasarimlarin bu sınırliliklari nasıl astigini tartismaktadir. Boyylelikle, önceki literatürun parca parca sundugu çözümleri butuncul bir kuramsal çerçevede sentezlemektedir.

Çalışmanın literatür taramalarina sağladigi en buyuk katkı, Kinetics-400 ve Something-Something v2 gibi standart veri kumesi performanslarini yalnizca ham sayilarla degil, modellerin on eğitim stratejileri ve hesaplama maliyetleri ile ilişkilendirerek sunmasidir. Kendi kendine denetimli öğrenme rejimlerini, özellikle Maskeli Belirteç Modellemesi ve kontrastif öğrenme yaklaşimlarini ayrintili sekilde çözümlemektedir. Bu analizler, Turk araştırmacilarin kendi ampirik çalışmalarında hangi mimari tasarimi veya eğitim stratejisini secmeleri gerektigine dair rasyonel gerekceler ve ampirik dayanaklar sağlamaktadir.

Kaynakça

Carreira, J., & Zisserman, A. (2017). Quo vadis, action recognition? A new model and the kinetics dataset. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 4727-4735).

Tez ve Makale Araştırmalarında Kullanım

Makalenin doğrulanmış yöntemi, bulguları ve kuramsal çerçevesi; tez ve makale çalışmalarında kullanılacağı bölümle birlikte aşağıdaki üç araştırma taslağına dönüştürülmüştür.

Tez veya makalede kullanım · literatüre-review

Video verilerinde zamansal boyutun islenmesi, yüksek bilgi fazlaligi ve karesel hesaplama yuku nedeniyle geleneksel Transformer yapilarinda optimizasyon gerektirir.

Tezin literatür taramasi bolumunde, video verilerinin özgün dogasindan kaynaklanan boyutluluk ve karesel karmasiklik problemlerini temellendirmek amaciyla bu çalışmadaki girdi ve mimari analizlerinden yararlanilacaktir(Selva et al., 2023).

Uzamsal ve Zamansal Havuzlama Hiyerarsilerinin Ince Taneli Hareket Temsili Üzerindeki Etkilerinin Karşılaştırmali Analizi

Araştırma sorusu: Hiyerarsik Video Transformer modellerinde uzamsal havuzlamanin erken katmanlarda uygulanmasi, Something-Something v2 gibi zamansal yon bagimli eylemlerin siniflandirma basarisini nasıl etkiler?
Yöntem taslağı: Farklı asamali hiyerarsik havuzlama stratejilerine sahip uc farklı Video Transformer modeli tasarlanacak, modeller Something-Something v2 veri kumesinde egitilecek ve zamansal sadakat ile uzamsal fazlalik azaltimi arasindaki basarim farklari veri doygunluguna ulasana kadar analiz edilecektir.

Makaleyle bağlantısı: Yazarlarin Bolum 4.4 te belirttigi üzere, uzamsal özelliklerin erken asamada hiyerarsik olarak birlestirilmesi ince taneli hareket özelliklerinin olusumunu engelleyebilir. Bu öneri, erken hiyerarsik sikistirmanın eylem algilama üzerindeki etkisini doğrudan test etmeyi amaçlamaktadir(Selva et al., 2023).

Tez veya makalede kullanım · Kavramsal çerçeve

Video Transformer boru hattinda ham verilerin yamalara bolunmeden once derin CNN aglariyla gomulmesi, modele güçlü yerel tumevarimsal egilimler kazandirir.

Önerilen yeni modelin kavramsal çerçevesinde, uctan uca öğrenme ile dondurulmus oznitelik cikarimi arasindaki mimari ve kuramsal farklari açıklamak ve CNN-Transformer melez tasarimlarini gerekcelendirmek için kullanılacaktir(Selva et al., 2023).

Maskeli Belirtec Modellemesinde HOG ve Piksel Tabanlı Rekonstruksiyon Hedeflerinin Hesaplama Yoğunlugu ve Temsil Kalitesi Acisindan Karşılaştırilmasi

Araştırma sorusu: Kendi kendine denetimli Video Transformer on eğitiminde, piksel rekonstruksiyonu ile HOG oznitelik regresyonunun Kinetics-400 üzerindeki ince ayar basarimi ve eğitim suresi acisindan farklari nelerdir?
Yöntem taslağı: Ayni ViT-B omurgasi kullanılarak iki ayri kendi kendine denetimli on eğitim modeli oluşturulacaktir. Ilk model piksel duzeyinde kayip ile egitilirken, ikinci model HOG oznitelik eslesmesiyle egitilecektir. On eğitimlerin ardindan her iki model de Kinetics-400 üzerinde ince ayar islemine tabi tutulacak ve yakinsama sureleri ile basarim egrileri karşılaştırilacaktir.

Makaleyle bağlantısı: Bolum 5.3 teki tartismaya dayanarak, piksel tabanlı MTM nin yüksek frekansli detaylara odaklanma riski tasirken ucuz oldugu, oznitelik tabanlı HOG yönteminin ise deformasyonlara karsi kismi dayaniklilik sundugu tespiti deneysel olarak test edilmek istenmektedir(Selva et al., 2023).

Tez veya makalede kullanım · Tartışma

Uzamsal boyutlarda erken hiyerarsik sikistirma yapilmasi, daha sonraki katmanlarda ince taneli zamansal hareket ozniteliklerinin modellenmesini engelleyebilir.

Tez çalışmasinda elde edilen model sonuçlarının tartisilmasi asamasinda, uzamsal ve zamansal havuzlama islemlerinin ince taneli hareket takibi üzerindeki olumsuz etkilerini kuramsal olarak açıklamak için bu tespitten faydalanilacaktir(Selva et al., 2023).

Uctan Uca CNN-Transformer Hibrit Modelleri ve Dondurulmus Gombe Aglarinin Zaman Ici Geri Besleme Kapasitesi Acisindan Incelenmesi

Araştırma sorusu: Uctan uca egitilen bir Video Transformer modelinde zamansal katmanlardan gelen geri besleme, CNN gombe katmanlarinin uzamsal oznitelik kalitesini dondurulmus oznitelik cikaricilara kiyasla ne ölçude artirir?
Yöntem taslağı: Bir ResNet-50 gombe agi ve Transformer omurgasindan olusan hibrit model, dondurulmus gombe ve uctan uca eğitim modlarinda ayni veri kumesinde egitilecektir. Gombe aginin ara katmanlarindaki oznitelik haritalarinin gradyan analizi ve temsil gucu karşılaştırilarak zamansal geri beslemenin etkisi ölçulecektir.

Makaleyle bağlantısı: Yazarlar Bolum 5.1 de, Transformer katmanlarindan gelen uzun vadeli zamansal geri besleme sayesinde gombe aglarinin oznitelik kalitesinin arttigini ve uctan uca egitilen modellerin dondurulmus yapılara kiyasla daha yüksek temsil kapasitesi sundugunu tartismaktadir(Selva et al., 2023).