Hesaplamalı araştırma makalesi incelemesi

Moleküler Dinamik Simülasyonlarında Çizge Sınır Ağı Atomlar Arası Potansiyelleri İçin Ölçeklenebilir Paralel Algoritma

Moleküler dinamik simülasyonlarında yoğunluk fonksiyonu teorisi gibi kuantum mekaniksel yöntemlerin O(N^3) ölçekleme kısıtı, büyük sistemlerin incelenmesini engellemektedir. Bu çalışma, GNN-IP modellerinin paralel ölçeklenebilirliğini çözmeyi hedefleyen temel bir araştırmadır.

Makalenin anahtar kelimeleri

Yazar: Yutack Park et al.
Yayın: Journal of Chemical Theory and Computation
Tarih: 2024-05-30
DOI: 10.1021/acs.jctc.4c00190

Makalenin Kapsamı ve Akademik İçeriği

Malzeme biliminde moleküler dinamik simülasyonları, maddelerin makroskobik özelliklerini yöneten atomik ayrıntıları ortaya çıkarmak için yaygın olarak kullanılmaktadır. Yoğunluk fonksiyonu teorisi gibi kuantum mekaniksel yöntemler yüksek doğruluk sunsa da, hesaplama karmaşıklığı atom sayısının küpüyle ölçeklendiğinden simülasyon boyutu ve süresi önemli ölçüde sınırlanmaktadır. Bu engeli aşmak amacıyla geliştirilen makine öğrenmesi potansiyelleri ve özellikle eşdeğişir çizge sınır ağı potansiyelleri, derin öğrenme aracılığıyla veri verimliliğini ve doğruluğu artırmaktadır. Ancak çoklu mesaj iletim katmanlarının alıcı alanını genişletmesi, büyük ölçekli moleküler dinamik paketlerinde tercih edilen uzaysal ayrıştırma paralelleştirme yönteminde veri iletişimini karmaşıklaştırmaktadır. Bu durum, eşdeğişir çizge sınır ağı potansiyellerinin çoklu GPU sistemlerinde ölçeklenebilir biçimde çalıştırılmasını zorlaştırmaktadır.

Bu sorunu çözmek amacıyla araştırmacılar, çizge sınır ağı potansiyelleri ile uyumlu uzaysal ayrıştırma tabanlı etkin bir paralel algoritma geliştirmiş ve NequIP mimarisine dayanan SevenNet yazılım paketini sunmuşlardır. Geliştirilen yaklaşımda işlemciler arası iletişim aralığı orijinal kesme yarıçapı ile sınırlandırılmış; ileri yönde atom konumları ve düğüm özellikleri, ters yönde ise enerji gradyanları iletilerek kuvvet hesaplamaları eksiksiz gerçekleştirilmiştir. SevenNet paketi moleküler dinamik simülasyonları için LAMMPS yazılımıyla entegre edilmiş ve PyTorch TorchScript altyapısıyla derlenmiştir. Algoritmanın başarımı, SiO2 sistemi üzerinde farklı kanal sayıları ve mesaj iletim katmanlarıyla eğitilen 20 model kullanılarak 32 GPU'lu küme üzerinde zayıf ve güçlü ölçekleme testleriyle kapsamlı şekilde değerlendirilmiştir. Ayrıca Materials Project veri kümesiyle eğitilen SevenNet-0 genel amaçlı potansiyeli oluşturulmuş ve 112.000 atomlu amorf Si3N4 sisteminin erime-soğutma simülasyonu gerçekleştirilmiştir.

Yapılan başarım testleri sonuçunda SevenNet, 32 GPU'lu kümede SiO2 sistemleri için yürütülen zayıf ölçekleme senaryolarında %80'in üzerinde paralel verimliliğe ulaşmıştır. Modellerdeki kanal sayısı veya mesaj iletim katmanı sayısı arttıkça iletişim veri boyutu ve sıklığı yükselmesine rağmen paralel verimliliğin korunduğu gözlemlenmiştir. Sabit boyutlu güçlü ölçekleme testlerinde ise 32 kanallı modeller 32 GPU kullanımında 13.1 ile 15.4 arasında hızlanma oranı elde etmiş, ancak GPU kaynaklarının yetersiz kullanımı durumunda küçük atom sayılı sistemlerde performans artışı doyuma ulaşmıştır. Genel amaçlı SevenNet-0 potansiyeli ile yürütülen 112.000 atomlu amorf Si3N4 erime-soğutma simülasyonu 8 GPU üzerinde 0.94 paralel verimlilikle tamamlanmış ve elde edilen yapısal radyal ile açısal dağılım fonksiyonlarının ilk ilkeler kuantum hesaplama referanslarıyla tam uyum sağladığı doğrulanmıştır.

Çalışmada elde edilen bulgular, eşdeğişir çizge sınır ağı potansiyellerinin doğru tasarlanmış ileri ve ters iletişim rutinleri sayesinde uzaysal ayrıştırma mimarisinde yüksek verimle paralelleştirilebileceğini kanıtlamaktadır. Yazar tartışmasında, mesaj iletimli cizge ağlarının genişleyen alıcı alanlarına rağmen iletişim mesafesini kesme yarıçapında tutmanın gereksiz hesaplama yükünü önlediğini ve derin modellerde serial yük artışının nispi iletişim maliyetini düşürdüğünü belirtmiştir. Literatürde daha önce sınırlı atom sayılarıyla kısıtlanan eşdeğişir potansiyel simülasyonları, SevenNet sayesinde yüz binlerce atom içeren karmaşık malzeme sistemlerine genişletilebilmektedir. Bu durum, Türk araştırmacıların büyük ölçekli amorf malzeme tasarımı, faz değişimi ve aygıt düzeyindeki moleküler dinamik araştırmalarında kuantum kesinliğinde veri üretmelerine ve mevcut LAMMPS altyapılarına doğrudan entegre edebilecekleri güçlü bir araç elde etmelerine olanak tanımaktadır.

Araştırmanın amacı

Bu çalışmanın amacı, çizge sınır ağı atomlar arası potansiyelleri (GNN-IP) için moleküler dinamik simülasyonlarında kullanılmak üzere uzaysal ayrıştırmaya dayalı ölçeklenebilir bir paralel algoritma ve bunun NequIP mimarisini temel alan SevenNet adlı yazılım uygulamasınıพัฒnadırmaktır(Park et al., 2024).

İnceleme ve modelleme yöntemi

Çalışmada, NequIP mimarisine dayanan E(3)-eşvaryant çizge sınır ağı atomlar arası potansiyellerinin çoklu GPU sistemlerinde uzaysal ayrıştırma yöntemiyle ölçeklenebilir paralelleştirilmesini sağlayan bir algoritma geliştirilmiş ve SevenNet yazılım paketi olarak LAMMPS simülasyon motoruna entegre edilmiştir(Park et al., 2024).

Kuramsal ve kavramsal çerçeve

Çalışma, atomik grafiklerde eşdeğişir temsil ilkesine dayanan NequIP çizge sınır ağı mimarisini ve paralel hesaplamada atomik alt alan paylaşımını sağlayan uzaysal ayrıştırma (spatial decomposition) kuramsal çerçevesini esas almaktadır.

Makalenin ele aldığı literatür

Makale, geleneksel atomlar arası potansiyeller (Behler-Parrinello, GAP), değişmez cizge sınır ağları (SchNet, PhysNet, M3GNet) ve eşdeğişir çizge sınır ağı modelleri (NequIP, Allegro, MACE) ile büyük ölçekli moleküler dinamik simülasyon yazılımı LAMMPS literatürünü ele almaktadır.

Araştırma Tasarımı

Evren veya inceleme alanı: M3GNet veri kümesi ve SiO2 ile Si3N4 bileşiklerinin atomik yapısal konfigürasyonları
Örneklem veya araştırma materyali: 1600 adet α-quartz SiO2 DFT yörünge konfigürasyonu ve Materials Project veri tabanından türetilen 89 elementi kapsayan M3GNet veri kümesi
Veri toplama süreci: VASP paketiyle PBE GGA fonksiyoneli kullanılarak yürütülen DFT moleküler dinamik simülasyonlarından alınan veri örnekleri
Veri analiz yöntemi: PyTorch ve e3nn kütüphaneleriyle eğitilen modellerin TorchScript ile LAMMPS simülasyon motoruna bağlanması ve uzaysal ayrıştırma katmanları arasında ileri/ters iletişim adımlarının yürütülmesi

Çizge Sınır Ağı Atomlar Arası Potansiyeli (GNN-IP)Uzaysal Ayrıştırma ParalelleştirmesiE(3)-Eşvaryant TemsilZayıf ve Güçlü Ölçekleme VerimliliğiErime-Soğutma Simülasyonu

Araştırmanın Bulguları

İletişim aralığını kesme yarıçapı ile sınırlayan paralel uzaysal ayrıştırma algoritması, zayıf ölçekleme senaryolarında 32 GPU kullanıldığında dahi %80'in üzerinde paralel verimlilik sağlamaktadır(Park et al., 2024).

Sabit boyutlu güçlü ölçekleme testlerinde, 32 GPU kullanıldığında 32 kanallı modellerde 13.1 ile 15.4 kat hızlanma elde edilmekte; ancak kanal sayısının düşmesi GPU kapasitesinin yetersiz kullanımına yol açarak performans doyumunu öne çekmektedir(Park et al., 2024).

89 elementi kapsayan M3GNet veri kümesi üzerinde eğitilen genel amaçlı SevenNet-0 modeli, test kümesinde enerji için 24 meV/atom, kuvvet için 0.067 eV/A ve gerilim için 0.65 GPa ortalama mutlak hata değerlerine ulaşmıştır(Park et al., 2024).

Pre-trained SevenNet-0 potansiyeli kullanılarak gerçekleştirilen 112.000 atomlu amorf Si3N4 erime-soğutma simülasyonu, 8 GPU üzerinde 12.7 saatte tamamlanmış ve %94 zayıf ölçekleme paralel verimliliği sergilemiştir(Park et al., 2024).

Bulguların Tartışılması ve Araştırmanın Sonucu

Bulguların Yazarlar Tarafından Yorumlanışı

Çalışmanın bulguları, çizge sınır ağı atomlar arası potansiyellerinin (GNN-IP) çoklu GPU mimarilerinde uzaysal ayrıştırma yöntemiyle verimli bir şekilde paralelleştirilebileceğini ve zayıf ölçekleme senaryolarında yüksek paralel verimliliğin korunduğunu göstermektedir. Özellikle mesaj iletim katmanı ve kanal sayısı gibi model karmaşıklığı arttıkça, seri hesaplama süresinin iletişim süresine oranı büyüdüğü için paralel verimliliğin düşmediği saptanmıştır.

Yazarlar, güçlü ölçekleme testlerinde gözlemlenen performans doyumunu ve hızlanma sınırlamasını GPU çekirdeklerinin düşük atom sayılarında alt-optimal düzeyde çalışmasıyla açıklamaktadır. Kanal sayısı azaldıkça vektör boyutlarının küçülmesi GPU işlem birimlerinin tam kapasiteye ulaşmasını engellemekte, bu durum çoklu GPU dağıtımında beklenen teorik hızlanmanın gerisinde kalınmasına neden olmaktadır.

Tartışma bölümünde elde edilen doğruluk ve ölçeklenebilirlik sonuçları literatürdeki diğer genel amaçlı potansiyel modelleriyle kıyaslanmaktadır. M3GNet veri kümesinde eğitilen SevenNet-0 modelinin enerji ve kuvvet tahminlerinde M3GNet'e kıyasla daha düşük hata oranları sunması ve eğitildiği kristal verilerinin ötesine geçerek amorf Si3N4 yapısının deneysel ve DFT referanslı açısal/radyal dağılım fonksiyonlarını tam olarak üretmesi, modelin genelleştirme kabiliyetini doğrulamaktadır.

Sonuç olarak, geliştirilen paralel uzaysal ayrıştırma algoritmasının yalnızca NequIP mimarisiyle sınırlı kalmayıp SchNet, PhysNet, PaiNN ve MACE gibi diğer iki cisimli veya eşvaryant mesaj iletimi kullanan GNN-IP modellerine de kolaylıkla uygulanabileceği vurgulanmaktadır. İleri ve ters iletişim adımlarının kesme yarıçapı seviyesinde tutulması, cihaz ölçeğinde büyük amorf ve heterojen malzeme simülasyonlarının önünü açmaktadır.

Bulguların Önceki Araştırmalarla Karşılaştırılması

Geliştirilen SevenNet-0 genel amaçlı modeli, M3GNet veri kümesi üzerinde değerlendirildiğinde M3GNet modelinin bildirdiği 35 meV/atom enerji ve 0.072 eV/A kuvvet MAE değerlerine kıyasla sırasıyla 24 meV/atom ve 0.067 eV/A değerlerine ulaşarak enerji ve kuvvet tahmin doğruluğunda belirgin bir üstünlük sergilemiştir(Park et al., 2024).

Sonuç Bölümünün Sunduğu Çıkarımlar

Yazarlar, çizge sınır ağı atomlar arası potansiyellerinde iletilen mesaj katmanları arasındaki veri takasını kesme yarıçapı düzeyindeki ileri ve ters iletişim adımlarıyla sınırlayan uzaysal ayrıştırma algoritmasının, çoklu GPU sistemlerinde zayıf ölçekleme performansını koruduğunu ve SevenNet yazılımı aracılığıyla yüz binlerce atom içeren amorf malzemelerin karmaşık moleküler dinamik simülasyonlarını yüksek doğruluk ve ölçeklenebilirlikle gerçekleştirmeyi olanaklı kıldığını sonuçlandırmaktadır(Park et al., 2024).

Literatür Taraması İçin Sunduğu Çerçeve

Bu araştırma, yazindaki yapay zeka tabanlı atomlar arasi potansiyellerin buyuk ölçekli ve yüksek performansli hesaplama platformlarinda ölçeklenmesi sorununa odaklanmaktadir. Cizge sınır aglarinin coklu katmanlari ve genis alici alanlari nedeniyle uzaysal ayristirma algoritmasiyla entegrasyonu, yüksek veri aktarim maliyetleri yaratmaktaydi. Bu çalışma, iletisim sınırini kesme yaricapi seviyesinde sabitleyen ve ara katmanlarda paralel ileri/geri veri takasini gerceklestiren bir protokol tanımlayarak bu teorik ve teknik engeli ortadan kaldirma islevi gormektedir.

Önceki literatüre Behler ve Parrinello tarafindan geliştirilen lokal yapay sınır agi potansiyelleri, kisa menzilli kesme yaricapi sayesinde uzaysal ayristirma yöntemiyle doğrusal ölçeklenebiliyordu. Ancak NequIP ve MACE gibi esvaryant cizge sınır agi potansiyelleri (GNN-IP), alici alanin genislemesi sebebiyle geleneksel paralellestirme semalariyla verimsiz çalışmakti. Bu çalışma, NequIP'in veri verimliligi ve doğrulugunu korurken, Plimpton'in klasik kisa menzilli kuvvet uzaysal ayristirma mimarisini GNN tabanlı katmanli mesaj iletim yapisina uyarlayarak önceki çalışmalardaki ölçekleme dar bogazini asmaktadir.

Çalışma, malzeme bilimi ve hesaplamali kimya literatürundeki genel amacli makine öğrenimi potansiyelleri derlemelerine cok yonlu bir katkı sağlamaktadir. Geliştirilen SevenNet paketi aracıligiyla amorf silisyum nitrur (Si3N4) gibi cihaz ölçegindeki karmasik heterojen sistemlerin DFT kalitesinde molekuler dinamik simulasyonlarinin yapilabilmesini mumkun kilmistir. Bu durum, teorik modellerin endustriyel yari iletken ve bellek teknolojileri araştırmalarında doğrudan uygulanabilmesine yonelik yöntemsel bir kopru kurmaktadir.

Kaynakça

Chen, C., & Ong, S. P. (2022). A universal graph deep learning interatomic potential for the periodic table. Nature Computational Science, 2(11), 718-728. https://doi.org/10.1038/s43588-022-00349-3

Tez ve Makale Araştırmalarında Kullanım

Makalenin doğrulanmış yöntemi, bulguları ve kuramsal çerçevesi; tez ve makale çalışmalarında kullanılacağı bölümle birlikte aşağıdaki üç araştırma taslağına dönüştürülmüştür.

Tez veya makalede kullanım · Yöntem

Derin öğrenme potansiyellerinin uzaysal ayristirmasi katmanli iletisim sınırlariyla cozulebilir.

Tez çalışmalarında, GNN tabanlı potansiyellerin paralelleştirilmesinde iletisim sınırinin kesme yaricapi ile nasıl sınırlandirilabilecegini ve TorchScript modullerinin LAMMPS arayuzune nasıl entegre edilecegini açıklamak için bu metodolojiden faydalanilabilir(Park et al., 2024).

Esvaryant Potansiyellerde Dinamik Kanal Genisliginin GPU Verimliligi Üzerindeki Etkisi

Araştırma sorusu: Makine öğrenimi potansiyellerinde dinamik olarak ayarlanan kanal sayisi güçlü ölçekleme performans sınırlarini nasıl etkilemektedir?
Yöntem taslağı: Ayni donanim kumesinde 16, 32 ve 64 kanal konfigurasyonlarina sahip NequIP modelleri kurulacaktir. Sabit 20,000 atomlu silika sistemi üzerinde, farklı MPI ve GPU sayilari için çalışma zamani ve GPU kullanim yuzdeleri ölçulerek, donanim doyum noktalarinin guc analizleri ile belirlenmesi sağlanacaktir.

Makaleyle bağlantısı: Yazarlarin güçlü ölçekleme testinde kanal sayisi dustukce GPU kullaniminin alt-optimal duzeye indigi ve hizlanmanir erken doyuma ulastigi yonundeki tespiti bu araştırmanın cikis noktasini oluşturmaktadir(Park et al., 2024).

Tez veya makalede kullanım · Giris

Cizge sınır agi potansiyellerinin paralel ölçeklenmesi alici alanin genislemesi nedeniyle kisitlidir.

Yapay zeka tabanlı molekuler simulasyonlarin onundeki algoritmik ve donanimsal engelleri tartisirken, geleneksel uzaysal ayristirma yaklaşimlarinin cizge yapisindaki coklu mesaj katmanlari sebebiyle neden yetersiz kaldigini göstermek için bu tespitten yararlanilir(Park et al., 2024).

Cok Fazli Amorf Malzemelerde Uzaysal Ayristirma ve Yuk Dengeleme Sınırlarinin Analizi

Araştırma sorusu: Heterojen ve cok fazli sistemlerde dinamik sınır dengeleme (fix balance) adimlari paralel zayif ölçekleme kararliligini nasıl etkiler?
Yöntem taslağı: Kristal ve amorf fazlari ayni anda içeren heterojen silisyum nitrur yapilari tasarlanacaktir. LAMMPS üzerinde farklı 'fix balance' sikliklari (her 5, 10, 20 adimda bir) uygulanarak, dengesiz yuk dagilimlarinin senkronizasyon bekleme sureleri üzerindeki etkisi CUDA-aware MPI profilleme araclariyla incelenecektir.

Makaleyle bağlantısı: Yazarlarin homojen sistemlerde zayif ölçeklemenin cok kararli oldugunu ancak heterojen yapilarda senkronizasyon maliyetlerinin artabilecegini belirttikleri tartisma bolumundeki uyarisina dayanmaktadir(Park et al., 2024).

Tez veya makalede kullanım · Tartisma

Donanim verimliliginin sınırlari güçlü ölçekleme performansini doyuma ulastirir.

Coklu GPU sistemlerinde yapilan sabit boyutlu MD simulasyonlarinda, atom sayisinin GPU basina dusen minimum verimli islem esiginin altina inmesi durumunda hizlanma artisinin neden durdugunu teorik olarak temellendirmek için bu donanim analizi referans alinir(Park et al., 2024).

SevenNet-0 Genel Amacli Potansiyelinin Amorf Yari Iletken Oksitlerdeki Genellesme Sınırlari

Araştırma sorusu: Yalnizca kristal yapilardan olusan M3GNet veri kumesiyle egitilen SevenNet-0 potansiyeli amorf indiyum galyum cinko oksit (IGZO) yapilarinin radyal dagilim özelliklerini doğru tahmin edebilir mi?
Yöntem taslağı: SevenNet-0 potansiyeli kullanılarak 150,000 atomluk amorf IGZO erime-sogutma simulasyonu yurutulecektir. Elde edilen amorf yapinin g(r) radyal dagilim fonksiyonu ve g(theta) acisal dagilim fonksiyonu sonuçları, bagimsiz ab initio DFT verileriyle karşılaştırilarak istatistiksel hata metrikleri hesaplanacaktir.

Makaleyle bağlantısı: Yazarlarin SevenNet-0 modelini kristal verilerle egitip amorf Si3N4 yapisini basariyla urettiklerini ve modelin kristal disi alanlarda da genellesme yetenegine sahip oldugunu kanıtlayan amorf simulasyon bulgularindan türetilmistir(Park et al., 2024).