Teknik mühendislik makalesi incelemesi

Paralel-Esnek Eyleyicili Dört Bacaklı Robotlar İçin Öğrenme Tabanlı Tasarım ve Kontrol

Bacaklı robotik alanında çok yönlü, verimli ve güçlü platformlar geliştirmek uzun süredir temel bir araştırma hedefidir. Robot kontrölçüleri giderek daha sağlam hale gelse de, hareket performansı mevcut eklem hızı ve tork sınırları nedeniyle kısıtlanmaktadır.

Makalenin anahtar kelimeleri

Yazar: Filip Bjelonic et al.
Yayın: IEEE Robotics and Automation Letters
Tarih: 2023-01-06
DOI: 10.1109/lra.2023.3234809

Makalenin Kapsamı ve Akademik İçeriği

Bacaklı robotların hareket kabiliyetini, hızını ve taşıma kapasitesini artırma arayışı, modern robotiğin en kritik araştırma alanlarından birini oluşturmaktadır. Kontrol algoritmalarının gelişmesine rağmen, robotların fiziksel sınırları eklem hızı ve motor torku limitleriyle kısıtlanmaktadır. Paralel esnek eyleyiciler (PEA), eyleyicilere ek tork desteği sağlayarak enerji verimliliğini ve sistem gücünü artırma vaadi sunmaktadır. Ancak, bu yay mekanizmalarının tasarımı genellikle sezgisel yöntemlere dayanmakta ve karmaşık tasarım parametrelerinin optimize edilmesi sistemin tam potansiyeline ulaşmasını engellemektedir. Bu makale, bacaklı robotlarda paralel esnek eklem tasarımı ile hareket kontrölçüsünün insan müdahalesini en aza indirecek şekilde eş zamanlı olarak optimize edilmesini sağlayan hesaplamalı bir ko-optimizasyon çerçevesi geliştirerek literatürdeki bu boşluğu doldurmayı hedeflemektedir.

Önerilen yöntemin temelinde, modelden bağımsız Takviyeli Öğrenme (RL) ile Bayesçi Optimizasyon (BO) algoritmalarının entegrasyonu yer almaktadır. İlk aşamada, tasarım parametrelerindeki değişimleri gözlemleyebilen tasarım koşullu (design-conditioned) bir öğretmen kontrol politikası simülasyon ortamında Proximal Policy Optimization (PPO) algoritması kullanılarak eğitilmiştir. İkinci aşamada, bu eğitilen politika temel alınarak Heteroscedastic Evolutionary Bayesian Optimisation (HEBO) algoritması vasıtasıyla en verimli mekanik tasarım parametreleri (yay dengesi, eliptik kam boyutları ve başlangıç açısı) belirlenmiştir. Fiziksel dünyaya aktarım için ise, ayrıcalıklı simülasyon bilgilerine erişimi olmayan, sadece gürültülü sensör verilerini kullanan bir öğrenci politika tekrarlayan sınır ağları (RNN) ile taklitçi öğrenme yoluyla damıtılmıştır.

Geliştirilen ko-optimizasyon çerçevesi, ANYmal adlı dört bacaklı robotun diz eklemlerine entegre edilen eliptik kam ve çelik tel mekanizması üzerinde hem simülasyonda hem de gerçek dünya deneyleriyle test edilmiştir. Elde edilen ampirik bulgular, optimize edilmiş paralel esnek yapının ve kontrölçünün, temel hat (baseline) olarak kabul edilen rijit eklemli sisteme kıyasla tork karesi verimliliğinde yüzde 33 oranında bir iyileşme sağladığını göstermektedir. Ayrıca, yeni tasarım sayesinde maksimum eklem torku gereksinimi yüzde 30 oranında azalmış ve bu kazanımlar robotun yörünge takip performansında herhangi bir taviz verilmeden elde edilmiştir. Düz zeminde gerçekleştirilen batarya ömrü testleri ise çalışma süresinin yüzde 11 oranında uzadığını ve sistemin dayanıklılığının korunduğunu kanıtlamıştır.

Bu çalışma, paralel esnek eyleyicilerin dinamik bacaklı robot hareketlerindeki rolünü kontrollü deneyler ve sistematik bir optimizasyon metodolojisi ile ortaya koyması bakımından literatüre çok önemli katkılar sunmaktadır. Kontrölçünün mekanik tasarım parametrelerine toleransı, simülasyondan gerçeğe geçişteki model belirsizliklerini ortadan kaldırmakta ve kalibrasyon zahmetini en aza indirmektedir. Elde edilen teorik ve pratik sonuçlar, gelecekteki bacaklı robot tasarımlarında aktüatör seçimi, ağırlık dağılımı ve enerji optimizasyonu çalışmalarına rehberlik edecek niteliktedir. Tez ve makale çalışmaları yürüten araştırmacılar için bu metodoloji, donanım ile yazılımın eş zamanlı tasarlandığı eş-optimizasyon (co-design) projelerinde güçlü bir referans modeli teşkil etmektedir.

Araştırmanın amacı

Dört bacaklı robotlar için paralel esnek diz eklemini ve lokomasyon kontrölçüsünü minimal insan sezgisiyle eş zamanlı olarak optimize eden bir tasarım optimizasyon çerçevesi sunmak ve bunu fiziksel ANYmal robotu üzerinde doğrulamaktır(Bjelonic et al., 2023).

İnceleme ve modelleme yöntemi

Çalışmada, bacaklı robotların paralel esnek diz eklem tasarımı ile hareket kontrölçüsünün simülasyon ortamında modelden bağımsız Pekiştirmeli Öğrenme (RL) ve dış döngüde Bayesçi Optimizasyon (BO) kullanılarak eş zamanlı olarak optimize edilmesini sağlayan eşgüdümlü bir tasarım optimizasyon çerçevesi geliştirilmiştir(Bjelonic et al., 2023).

Kuramsal ve kavramsal çerçeve

Çalışma, modelden bağımsız Takviyeli Öğrenme (PPO algoritması), Markov Karar Süreçleri (MDP), Bayesçi Optimizasyon (HEBO algoritması) ve eyleyici tork karesi kaybını (Cost of Torque) temel alan teorik kontrollü tasarım çerçevesine dayanmaktadır. Öğretmen-öğrenci (teacher-student) bilgi damıtma yöntemiyle simülasyondan gerçeğe aktarım sağlanmıştır.

Makalenin ele aldığı literatür

Literatürde yer alan Seri Esnek Eyleyiciler (SEA) ve Paralel Esnek Eyleyiciler (PEA) incelenerek SpaceBok, BirdBot ve STEPPR gibi bacaklı robot platformlarının tasarımları ele alınmıştır. Ayrıca, geleneksel sezgisel ve biyo-ilhamlı tasarım yaklaşımlarının kısıtları tartışılarak, kontrol farkındalıklı gradyan tabanlı ve gradyansız ko-optimizasyon yöntemleri analiz edilmiştir.

Araştırma Tasarımı

Evren veya inceleme alanı: Fiziksel robot donanımı olarak ANYmal quadrupedal robot platformu ve simülasyon tabanlı eğitim ile optimizasyon süreçlerinde kullanılan bilgisayar destekli dinamik ortam modelleri.
Örneklem veya araştırma materyali: Tasarımı yapılan paralel esnek eklem mekanizması için k s = 4154 N/m sertliğe sahip doğrusal yay, çelik teller, eliptik kam mekanizması (majör eksen a = 8.1 cm, minör eksen b = 6.0 cm, başlangıç açısı φ0 = 0.0 rad, denge açısı qKFE = 0.36 rad) ve ANYmal robot gövdesi.
Veri toplama süreci: Simülasyon ortamındaki Monte Carlo simülasyonları ile elde edilen 1000 adet epizot üzerinden tork karelerinin entegrali (Cost of Torque) verileri, takip hatası değerleri ve gerçek dünya deneylerinde (düz zemin yürüyüşü, rastgele komut takibi, engelli zeminler, koşu pisti batarya testi) elde edilen tork, batarya şarj durumu ve hız ölçümleri.
Veri analiz yöntemi: Güç tüketimi optimizasyonunun değerlendirilmesi amacıyla tork karesi tabanlı Cost of Torque (CoTr) maliyet analizleri, gerçeğe geçiş başarımı için hata toleransı ve sapma analizleri ile doğrusal batarya deşarj ölçekleme hesaplamaları.

Paralel Esnek Eyleyici (PEA)Eşgüdümlü Tasarım ve Kontrol OptimizasyonuPekiştirmeli Öğrenme (RL)Bayesçi Optimizasyon (BO)Tasarım Koşullu PolitikaTork Kareleri Maliyeti (Cost of Torque)Simülasyondan Gerçeğe Aktarım (Sim-to-real)

Araştırmanın Bulguları

Geliştirilen eşgüdümlü tasarım ve kontrol yaklaşımı, robotun tork karesi verimliliğinde referans bazo çizgiye (ANYmal) kıyasla yüzde 33 oranında bir iyileşme sağlamış ve yürüyüş takibini zayıflatmadan enerji tüketimini kayda değer ölçüde azaltmıştır(Bjelonic et al., 2023).

Düz zeminde gerçekleştirilen deneysel deşarj testleri sonuçunda, paralel esnek yay eyleyicili yeni robot tasarımının (AoPS), standart ANYmal robotuna kıyasla yüzde 11 daha uzun bir çalışma süresi sunduğu kanıtlanmıştır(Bjelonic et al., 2023).

Rastgele komut takibi deneylerinde, paralel esnek eklem yapısı sayesinde KFE (diz eklemi) üzerindeki ortalama tork değerinin 26 Nm seviyesinden 7 Nm düzeyine çekildiği ve tepe tork gereksiniminin yüzde 30 oranında azaldığı gözlenmiştir(Bjelonic et al., 2023).

Tasarım koşullu kontrol politikasının ayrıcalıklı öğrenme yöntemi ve yay parametrelerindeki yüzde 10'luk sapmalarla gürültülü eğitilmesi, gerçek dünya uygulamalarında ek kalibrasyon ihtiyacı olmaksızın simülasyondan gerçeğe başarıyla aktarılabilmiştir(Bjelonic et al., 2023).

Bulguların Tartışılması ve Araştırmanın Sonucu

Bulguların Yazarlar Tarafından Yorumlanışı

Çalışmada elde edilen deneysel sonuçlar, bacaklı robot tasarımlarında paralel esnek eyleyicilerin (PEA) sadece statik yük taşıma veya yerçekimi telafisi gibi durağan durumlarda değil, aynı zamanda son derece dinamik lokomosyon görevlerinde de enerji verimliliğini ve tork dağılımını optimize etmede kritik bir rol oynadığını açıkça ortaya koymaktadır.

Yazarlar bu verimlilik artışını ve tork gereksinimlerindeki düşüşü, doğrusal olmayan eliptik kam profiliyle donatılmış yay-kablo mekanizmasının, robotun yürüyüş döngüsü boyunca diz eklemlerine ek destek torku sağlaması ve böylece eklemlerdeki eyleyici motorların termal ısınma kayıplarını (Joule heating) en aza indirmesi esasıyla açıklamaktadır.

Elde edilen bu çıktılar, literatürde yer alan ve genellikle sezgisel ya da sabit yörünge optimizasyonuna dayanan geleneksel paralel esneklik tasarımlarının aksine, kontrölçü ile donanım parametrelerinin bütünleşik olarak optimize edilmesinin sistemin tam potansiyelini açığa çıkarmadaki üstünlüğünü ve literatürdeki sınırlılıkları nasıl aştığını somut olarak kanıtlamaktadır.

Bunun yanı sıra, simülasyondaki tasarım koşullu takviyeli öğrenme politikalarının gerçeğe aktarımında eklenen parametrik gürültülerin, fiziksel üretimdeki asimetrik sapmalara ve belirsizliklere karşı kontrölçüye kazandırdığı olağanüstü dayanıklılık, endüstriyel ve saha robotlarındaki kalibrasyon karmaşıklığı problemini ortadan kaldırması bakımından önemli bir pratik katkı teşkil etmektedir.

Bulguların Önceki Araştırmalarla Karşılaştırılması

Yazarlar, STEPPR iki bacaklı robotunda paralel esnek kalça yayı kullanımının elektriksel güç tüketimini yüzde 31, toplam tüketimi ise yüzde 13 oranında azalttığını belirten literatür bulgularıyla kendi geliştirdikleri paralel esnek diz eyleyicisinin (AoPS) tork karesi verimliliğinde sağladığı yüzde 33'lük kazanımı karşılaştırarak paralel esneklik konseptinin bacaklı robot lokomosyonundaki yüksek verimlilik katkısını desteklemektedir(Bjelonic et al., 2023).

Yazarlar, literatürde paralel esnek eyleyicilerin statik görevlerde yerçekimi telafisi sağlayarak enerji avantajı sunduğunun iyi bilinmesine karşın dinamik lokomosyon sırasındaki katkısının görece az incelendiğini vurgulamakta ve geliştirdikleri yöntemle PEA'ların dinamik bacaklı yürüyüşte de verimliliği kayda değer şekilde artırdığını göstermektedir(Bjelonic et al., 2023).

Sonuç Bölümünün Sunduğu Çıkarımlar

Yazarlar, paralel esnek diz eklem tasarımının ve lokomosyon kontrölçüsünün eş zamanlı optimize edilmesinin, dört bacaklı robotların kararlılık ve hareket yeteneklerinden ödün vermeksizin enerji verimliliğini artırmada oldukça etkili bir yaklaşım olduğunu belirtmektedir. Ayrıca geliştirilen modelden bağımsız öğrenme tabanlı yöntemin, üretim ve montaj aşamalarındaki küçük fiziksel tolerans sapmalarına karşı yüksek düzeyde gürbüzlük ve sağlamlık sunduğunu, karmaşık sistem kalibrasyonu gereksinimini ortadan kaldırdığını ve bacaklı robotların zorlu dış mekan ortamlarında daha uzun süre otonom çalışabilmelerinin önünü açtığını vurgulamaktadırlar(Bjelonic et al., 2023).

Literatür Taraması İçin Sunduğu Çerçeve

Bu çalışma bacakli robotik literatürunde donanim tasarimi ile kontrölçu tasariminin geleneksel olarak ayri ayri ele alinmasindan kaynaklanan alt-optimalite sorununu cozmeye yonelik kritik bir islev ustlenmektedir. Paralel esnek eyleyicilerin statik gorevlerin otesinde dinamik ve değişken zemin hareketlerindeki rolunu ampirik olarak ortaya koyar. Geliştirilen es-optimizasyon çerçevesi sezgisel yaklaşimlari asarak hem kontrol verimliligini hem de yay sertligi profillerini bir arada iyileştirerek literatürdeki kuramsal boslugu doldurur.

Çalışma geleneksel seri esnek eyleyici tasarimlarindan ve sadece laboratuvar ortamlarinda test edilmiş ilk paralel esnek eyleyici denemelerinden yararlanmaktadir. Ancak önceki çalışmalarin aksine bu çalışma sabit bir yorunge üzerinden optimizasyon yapmak yerine takviyeli öğrenme tabanlı tasarim kosullu politikalar kullanarak yorungeden bagimsiz serbest ve dinamik bir kontrol-tasarim entegrasyonu sunmaktadir. Bu yonuyle önceki çalışmalarin statik veya sınırli tasarim sınırlarini asar.

Bu yayin bacakli robotlarin saha performansina yonelik literatür incelemelerinde cigir acici bir referans noktasi sunmaktadir. Ilk kez paralel esnek eyleyicilerin dis mekandaki gercek zeminlerde merdivenler ormanlik alanlar ve dik yokuslar gibi zorlu kosullarda yurus performansi ve kararlilik üzerindeki etkileri nicel olarak raporlanmistir. Çalışma eyleyici tork karesi kaybini azaltmanin doğrudan pil omrune nasıl yansidigini göstererek gelecekteki mekatronik ve kontrol sentezleri için kapsamli bir metodolojik kilavuz sunmaktadir.

Kaynakça

Mazumdar, A., et al. (2017). Parallel elastic elements improve energy efficiency on the steppr bipedal walking robot. IEEE/ASME Transactions on Mechatronics, 22(2), 898-908.
Kashiri, N., et al. (2018). An overview on principles for energy efficient robot locomotion. Frontiers in Robotics and AI, 5, 129.

Tez ve Makale Araştırmalarında Kullanım

Makalenin doğrulanmış yöntemi, bulguları ve kuramsal çerçevesi; tez ve makale çalışmalarında kullanılacağı bölümle birlikte aşağıdaki üç araştırma taslağına dönüştürülmüştür.

Tez veya makalede kullanım · literatüre-review

Paralel esnek eyleyicilerin bacakli robotlarda eyleyici motorlarin termal isinma kayiplarini azaltarak toplam çalışma suresini uzattigi kanıtlanmistir.

Bu makaledeki tork karesi maliyeti azaltimi ve pil omrunun duz zeminde yüzde 11 oraninda artirilmasi bulgusu bacakli robotlarda esnek eyleyici kullaniminin verimlilik faydalarini açıklarken doğrudan kullanılacaktir(Bjelonic et al., 2023).

Farklı Paralel Yay Sertliklerinin Kosu ve Ziplayis Gorevlerinde Enerji Tuketimine Etkisinin Analizi

Araştırma sorusu: Dort bacakli robotlarda diz eklemi paralel esnek yay sertligindeki doğrusal olmayan değişimler dinamik ziplama ve kosu hareketlerindeki tork maliyetini nasıl etkiler?
Yöntem taslağı: Simulasyon ortaminda farklı yay karakteristiklerine sahip paralel esnek eyleyici modelleri oluşturulacaktir. Örneklem buyuklugu simulasyondaki farklı senaryolar üzerinden guc analizi kullanılarak belirlenecektir. Veri toplama asamasinda farklı ziplama yükseklikleri ve hizlarindaki eyleyici torklari kaydedilecek veri analizi için ANOVA testi uygulanacaktir.

Makaleyle bağlantısı: Makalenin IV. Sonuç kisminda yer alan eyleyicilerin dinamik lokomosyondaki etkilerinin daha fazla araştırilmasi çağrısina ve eliptik camin doğrusal olmayan tork katkısi bulgularina dayanmaktadir(Bjelonic et al., 2023).

Tez veya makalede kullanım · Kavramsal çerçeve

Simulasyondan gerceğe aktarim süreçlerinde yay parametrelerinin kontrölçuden gizlenerek gurultuyle egitilmesi fiziksel sapmalara karsi sistem gurbuzlugunu artirir.

Robot kontrölçulerinin mekanik tolerans sapmalarina karsi hassas kalibrasyon gerektirmeksizin nasıl dayanikli hale getirilebilecegini açıklayan ogretmen-öğrenci kuramsal çerçevesini desteklemek için bu çalışmanın yöntemi referans alinacaktir(Bjelonic et al., 2023).

Gelismis Kablo-Yay Mekanizmalari ile Diz Eklem Çalışma Alaninin Genisletilmesi ve Hareket Kabiliyeti Değerlendirmesi

Araştırma sorusu: Knee ekleminin çalışma alanini kisitlamayacak esnek kablo-yay mekanizmasi tasarimlari robotun engebeli arazilerdeki engelleri asma basarisini nasıl etkiler?
Yöntem taslağı: Fiziksel prototip duzeyinde diz eklemi çalışma acisini kisitlamayan yeni bir makara-kablo mekanizmasi geliştirilecektir. Örneklem buyuklugu istatistiksel veri doygunluguna erisilene kadar tekrarlanan zorlu engel asma testleriyle belirlenecektir. Engel asma basari oranlari ve maksimum bukulme acilari kaydedilecek nitel ve nicel karşılaştırmali analizler yapilacaktir.

Makaleyle bağlantısı: Yazarlarin IV. Sonuç bolumunde belirttigi mevcut eliptik cam tasariminin diz ekleminin çalışma alanini kisitladigi ve kablo-yay mekanizmasinin uretimsel hatalar barindirdigi sınırliligina dayanmaktadir(Bjelonic et al., 2023).

Tez veya makalede kullanım · Tartışma

Es zamanli tasarim ve kontrol optimizasyonu sabit yorunge bazli tasarim yaklaşimlarina kiyasla belirgin sekilde daha yüksek tork verimliligi sunar.

Yapay öğrenme tabanlı es-tasarim algoritmalarinin insan sezgisine dayalı geleneksel birinci-prensip mekanik tasarimlarina gore ustunlugunu tartisirken bu çalışma kaynak gösterilecektir(Bjelonic et al., 2023).

Es Zamanli Tasarim Optimizasyonuna Uzuv Kutleleri ve Bacak Uzunluklarinin Dahil Edilmesinin Enerji Verimliligine Etkisi

Araştırma sorusu: Tasarim-kosullu kontrölçu optimizasyonuna uzuv kutlesi ve bacak uzunlugu değişkenlerinin eklenmesi bacakli robotlarin tasima maliyetini ne ölçude dusurur?
Yöntem taslağı: Simulasyon ortaminda Bayesci Optimizasyon çerçevesine yay parametrelerinin yani sira bacak uzunluklari ve segment kutle oranlari da eklenecektir. Örneklem sayisi guc analiziyle belirlenecektir. Eğitim esnasinda CoT ve CoTr degerleri sürekli kaydedilecek elde edilen optimum tasarimlar cok kriterli karar verme analizi ile karşılaştırilacaktir.

Makaleyle bağlantısı: Yazarlarin makale sonunda sundugu gelecekteki araştırmalarda optimizasyon süreçine uzuv kutleleri ve bacak uzunluklari gibi parametrelerin de eklenmesi gerektigi yonundeki acik öneriden türetilmistir(Bjelonic et al., 2023).