Teknik mühendislik makalesi incelemesi
Dört bacaklı robot sistemleri, karmaşık ve zorlu arazi koşullarında yüksek hareket kabiliyeti sunma potansiyeline sahiptir. Geleneksel denetim yaklaşımları genellikle yörünge optimizasyonu, model öngörülü denetim (MPC) ve elle ayarlanan parametrelere dayanır.
Dört bacaklı robotik sistemlerin karmaşık arazilerde dinamik hareket kabiliyeti sergilemesi, modern robotik araştırmalarının en kritik konuları arasında yer almaktadır. Geleneksel Yörünge Optimizasyonu ve Model Öngörülü Denetim (MPC) yöntemleri yüksek fiziksel doğruluk sağlasa da, çevre koşullarına uyarlanması gereken çok sayıda elle ayarlanmış parametre içermekte ve yüksek anlık hesaplama maliyetleri gerektirmektedir. Son dönemde veri odaklı bir alternatif olarak öne çıkan derin pekiştirmeli öğrenme yaklaşımları ise simülasyon ortamındaki fiziksel model ile gerçek dünya arasındaki uyumsuzluktan kaynaklanan sim-to-real aktarım engellerine takılmaktadır. Bu çalışma, açık kaynaklı Solo12 robot platformunda simülasyondan gerçeğe aktarım hatasını ek eyleyici modellemesine gerek kalmadan çözen ve enerji verimliliği yüksek bir uçtan uca denetim mimarisi geliştirmeyi amaçlamaktadır.
Çalışmanın temel amacı, Solo12 robotunun kullanıcı tarafından iletilen 3 boyutlu hız komutlarını hassasiyetle takip etmesini sağlayan, Yakınsal Politika Optimizasyonu (PPO) tabanlı bir empedans denetleyicisi tasarlamaktır. Yöntem kapsamında, Markov Karar Süreci durum alanı robotun öz duyusal verileri, eklem açıları, hızları, geçmiş hata sinyalleri ve IMU ölçümleriyle oluşturulmuştur. Doğrudan tork denetimi yerine esnek bir yay-sönümleyici davranışı sergileyen eklem açısı hedef değişimleri eğitilmiştir. Eğitim sürecinde ödül fonksiyonuna Coulomb ve viskoz sürtünme ile Joule ısı kayıplarını hesaplayan fiziksel bir enerji cezası eklenmiştir. Ayrıca, eğitimin kararlılığını ve aktarılabilirliğini sağlamak amacıyla ödül, gürültü ve arazi zorluğuna dayalı kademeli müfredat öğrenimi (curriculum learning) ve alan rastgeleleştirmesi uygulanmıştır.
Deneysel bulgular, geliştirilen denetim politikasının Solo12 robotunu hem simülasyonda hem de gerçek dünyada başarıyla yönlendirebildiğini göstermiştir. Robot, Raspberry Pi 4 donanımı üzerinde yalnızca 10 mikrosaniyelik hesaplama süresiyle 100 Hz frekansta denetim kararları üretebilmiştir. Fiziksel enerji cezası ağırlığının artırılmasıyla, hız takip hassasiyetinde minimal bir kayıpla toplam enerji tüketiminde %30'un üzerinde tasarruf sağlanmıştır. Ayrıca yürüyüş frekansının komut edilen doğrusal hız ile orantılı olarak kendiliğinden adapte olduğu tespit edilmiştir. Alan ve dinamik rastgeleleştirmesi sayesinde, eyleyici bant genişliği veya karmaşık motor modelleri eklenmeksizin ilk denemede başarılı bir sim-to-real aktarımı gerçekleştirilmiştir.
Elde edilen sonuçlar, derin pekiştirmeli öğrenme modellerinde fizik tabanlı enerji kaybı cezalarının kullanılmasının ve durum geçmişinin doğru eklenmesinin aktarım başarısındaki rolünü kanıtlamaktadır. Literatürdeki diğer ANYmal veya Mini-Cheetah uygulamalarından farklı olarak, Solo12 platformunun hafif yapısı ve yüksek bant genişlikli eyleyicileri sayesinde karmaşık motor modeli öğrenme zorunluluğunun ortadan kalktığı gösterilmiştir. Bu çalışma, açık kaynaklı robotik topluluğu için hem üretilebilir hem de düşük hesaplama maliyetli bir kontrol altyapısı sunmaktadır. Gelecek araştırmalarda model tabanlı MPC denetleyicileri ile derin pekiştirmeli öğrenmenin doğrudan karşılaştırılması ve daha zorlu engebeli alanlarda robot performansının sınanması önerilmektedir.
Bu çalışmanın temel amacı, açık kaynaklı Solo12 dört bacaklı robotu için uçtan uca çalışan, kullanıcının hız komutlarını takip eden, yüksek enerji verimliliğine sahip ve simülasyondan gerçek ortama ek aktarım modellemesine ihtiyaç duymadan doğrudan aktarılabilen derin pekiştirmeli öğrenmeye dayalı bir eklem empedans denetleyicisi geliştirmektir(Aractingi et al., 2023).
Bu çalışmada, Raisim fizik simülasyon ortamında eğitilen derin pekiştirmeli öğrenme politikalarının, eklem empedans referanslarını kullanarak Solo12 dört bacaklı robotu üzerinde uçtan uca kontrolünün sağlanması yöntemi benimsenmiştir. Politika ağı tarafından üretilen eklem açısı hedef yer değiştirmeleri, düşük seviyeli bir oransal türevsel (PD) denetleyici yardımıyla motor torklarına dönüştürülmüştür(Aractingi et al., 2023).
Çalışma, sürekli durum ve eylem alanlarına sahip Markov Karar Süreci (MDP) kuramsal çerçevesine dayanmaktadır. Politika ağacının optimizasyonunda Yakınsal Politika Optimizasyonu (PPO) algoritması kullanılmıştır. Eylem alanı doğrudan tork üretmek yerine, nominal eklem pozisyonlarına göre yer değiştirmeleri belirleyen empedans tabanlı Proportional-Derivative (PD) denetim mekanizmasıyla modellenmiştir. Gerçek robot üzerindeki doğrusal hız tahmini ise denetim politikasından bağımsız olarak eğitilen gözetimli bir taban hız tahmin ağı üzerinden yürütülmektedir.
Çalışmada ANYmal, Mini-Cheetah, HyQ ve Solo gibi robot platformlarında kullanılan model tabanlı optimizasyon teknikleri (Bellicoso vd., DiCarlo vd., Kim vd., Léziart vd.) incelenmiştir. Ayrıca pekiştirmeli öğrenmenin robotik harekete uygulanmasında simülasyon aktarımı sağlayan dinamik rastgeleleştirme, durum tahmini ve merkezi desen üreteci (CPG) entegrasyonu üzerine yapılan önceki araştırmalar (Hwangbo vd., Miki vd., Lee vd., Ji vd.) ele alınmıştır. Çalışma, eyleyici karmaşıklığını ve eyleyici modelleme ihtiyacını azaltan yaklaşımıyla mevcut robotik pekiştirmeli öğrenme literatüründen ayrılmaktadır.
Geliştirilen pekiştirmeli öğrenme tabanlı uçtan uca kontrolör, Solo12 robotunun gerçek ortamdaki hız takip performansını yüksek doğrulukla yerine getirmesini sağlamış ve bu durum hareket yakalama verileriyle doğrulanmıştır(Aractingi et al., 2023).
Durum ve dinamik rastgeleleştirme süreçlerinde uygulanan aşamalı gürültü müfredatı, kontrol politikasının simülasyondaki ideal koşullardan gerçek dünyadaki fiziksel sapmalara ve gürültülere uyum sağlamasını kolaylaştırmıştır(Aractingi et al., 2023).
Robotun ilerleme hızı ile bacak adım frekansı arasında eğitim sürecinde kendiliğinden gelişen doğrusal bir ilişki keşfedilmiş olup, bu dinamik uyarlama dışarıdan elle kodlanmış bir kural olmaksızın pekiştirmeli öğrenme ile elde edilmiştir(Aractingi et al., 2023).
Fiziksel modeldeki kaçınılmaz eksikliklere ve aktüatör gürültülerine rağmen, geliştirilen kontrol politikaları simülasyondan gerçek Solo12 robotuna hiçbir ek aktarım modellemesine ihtiyaç duymadan ilk denemede başarıyla aktarılmıştır(Aractingi et al., 2023).
Çalışmada elde edilen bulgular, derin pekiştirmeli öğrenme ile eğitilen eklem empedans kontrolörlerinin Solo12 quadruped robotu üzerinde son derece dayanıklı ve kararlı bir hareket kabiliyeti ürettiğini göstermektedir. Geliştirilen uçtan uca ağ yapısı, robotun iç mekanlardaki düz zeminlerden dış mekanlardaki çakıl, çim ve eğimli arazilere kadar geniş bir yelpazede kararlı adımlar atmasını mümkün kılmıştır.
Yazarlar, simülasyon ortamı ile gerçek dünya arasındaki fiziksel uyumsuzlukların (sim-to-real gap) aşılması için ayrıntılı bir aktüatör modeli çıkarmak yerine, durumlara ve kontrolör kazançlarına aşamalı gürültü ekleyen bir müfredat öğrenimi tasarlamışlardır. Bu durum, Solo12 platformunun sahip olduğu düşük ataletli ve yüksek bant genişliğine sahip aktüatör yapısı sayesinde, basit rastgeleleştirme yöntemlerinin dahi başarılı bir sıfırıncı saniye (zero-shot) transferi gerçekleştirmek için yeterli olduğunu açıklamaktadır.
Elde edilen sonuçlar, literatürdeki benzer çalışmalarla karşılaştırıldığında önemli metodolojik katkılar barındırmaktadır. Örneğin, robotun durum tahmini ve kontrol ağlarının eş zamanlı olarak eğitilmesi yerine, durum tahmininin kontrol politikasından bağımsız olarak ardışık eğitilmesinin, simülasyon hızını düşürmeden ve performanstan ödün vermeden işlem maliyetlerini azalttığı deneysel olarak ortaya konmuştur.
Son olarak, literatürde tork, hız ve ivme için ayrı ayrı cezalandırma terimleri kullanılması yerine, Joule ısınması ve mekanik sürtünme kayıplarını birleştiren tek bir fiziksel güç cezası fonksiyonunun entegre edilmesi tartışılmıştır. Bu yaklaşım, sadece hiperparametre optimizasyonunu kolaylaştırmakla kalmamış, aynı zamanda robotun hız takip hassasiyetinde çok küçük sapmalar karşılığında yüzde otuzun üzerinde enerji tasarrufu yapmasını sağlayan yürüyüş stillerini başarıyla türetmiştir.
Yazarlar, durum tahmini ve kontrol ağlarının eş zamanlı olarak eğitilmesini öneren Ji ve ark. (2022) yönteminin aksine, bu çalışmada iki ağın ardışık eğitilmesinin öğrenme hızını yavaşlatmadığını ve eş zamanlı eğitime kıyasla herhangi bir performans kaybı yaratmadığını deneysel olarak ortaya koymuşlardır(Aractingi et al., 2023).
Yazarlar, ANYmal gibi robotlarda simülasyondan gerçeğe aktarım için ayrıntılı eyleyici dinamiklerinin öğrenilmesini zorunlu kılan Hwangbo ve ark. (2019) yaklaşımının aksine, Solo12 gibi yüksek bant genişliğine sahip hafif robotlarda basit durum ve dinamik rastgeleleştirmenin doğrudan aktarım için yeterli olduğunu savunmaktadır(Aractingi et al., 2023).
Araştırmacılar, Solo12 quadruped robotu için geliştirdikleri derin pekiştirmeli öğrenme tabanlı uçtan uca kontrolörün, simülasyondan gerçek dünyaya doğrudan ve başarılı bir şekilde aktarılabildiğini; ayrıca eyleyici sürtünmesi ve Joule kayıplarını birleştiren fiziksel bir güç cezası terimi eklenerek, hız takibinde küçük ödünlerle yüzde 30'un üzerinde enerji tasarrufu sağlayan enerji verimli hareket politikalarının elde edilebildiğini ortaya koymuştur(Aractingi et al., 2023).
Bu çalışma, bacaklı robotik sistemlerin dinamik yürüyüş yeteneklerini geliştirmeyi hedefleyen literatürde, klasik model öngörülü denetim (MPC) yaklaşımları ile veri güdümlü pekiştirmeli öğrenme (RL) yöntemleri arasında sağlam bir ampirik köprü kurmaktadır. Geleneksel yörünge optimizasyonlarının yüksek hesaplama yükü, karmaşık modelleme ihtiyaçları ve çevreye uyum zorluklarına karşın, uçtan uca öğrenme tabanlı bir eklem empedans kontrolörünün pratik ve kararlı bir alternatif olduğunu gösterir. Çalışma, simülasyon ortamından gerçek fiziksel sisteme aktarımda karşılaşılan uyuşmazlıkları (sim-to-real gap) aşmak için hafif ve yüksek bant genişliğine sahip Solo12 robotik donanımının dinamik özelliklerini avantaja çeviren sade bir rastgeleleştirme yaklaşımı önermektedir. Bu yönüyle literatürdeki aşırı karmaşık aktüatör modellemelerine olan ihtiyacı azaltmaktadır.
Çalışma, ANYmal ve Mini-Cheetah gibi platformlarda yürütülen öncü pekiştirmeli öğrenme tabanlı hareket denetimi çalışmalarını (örneğin Hwangbo vd., Miki vd. ve Ji vd. çalışmaları) doğrudan temel almaktadır. Ancak bu çalışmalarda kullanılan doğrudan tork denetimi yerine, kararlılığı artıran eklem empedans referanslarının (konum tabanlı empedans kontrolü) öğrenilmesini önermekte ve bu yolla metodolojik olarak ayrışmaktadır. Ayrıca önceki literatürde yaygın olan durum tahmini ve kontrol politikalarının eş zamanlı eğitilmesi yaklaşımının yarattığı yüksek işlem yükünü eleştirerek, durum tahmin ağının bağımsız bir denetimli öğrenme süreciyle ardışık olarak eğitilmesini savunur. Enerji tasarrufu sağlamak adına literatürde tork, hız ve ivme terimlerinin ayrı ayrı cezalandırıldığı sezgisel yaklaşımlar yerine, motorların Joule ve sürtünme kayıplarını birleştiren tek bir fiziksel güç kaybı cezası önermektedir.
Bu makale, robotik hareket kontrolü üzerine yapılacak literatür taramalarına (review) çok yönlü bir metodolojik katkı sunmaktadır. İlk olarak, pekiştirmeli öğrenmede ödül fonksiyonu tasarımı (reward design) yaparken fiziksel kısıtların ve enerji verimliliğinin nasıl formüle edileceğini somut, fiziksel temelli bir güç kaybı denklemiyle standartlaştırmaktadır. İkinci olarak, simülasyondan gerçek dünyaya aktarımda (zero-shot transfer) aşamalı gürültü müfredatı (noise curriculum) kullanımının deneysel başarısını ortaya koyarak bu tekniğin etkinliğini ampirik olarak doğrulamaktadır. Üçüncü olarak, açık kaynak kodlu ve erişilebilir bir platform olan Solo12 quadruped robotunun kontrol çalışmalarındaki standardizasyon potansiyelini doğrulayarak, pahalı ve kapalı ticari robotlara olan bağımlılığı azaltacak alternatif bir bilimsel araştırma yolu açmaktadır.
Makalenin doğrulanmış yöntemi, bulguları ve kuramsal çerçevesi; tez ve makale çalışmalarında kullanılacağı bölümle birlikte aşağıdaki üç araştırma taslağına dönüştürülmüştür.
Tez veya makalede kullanım · Kavramsal çerçeve
Dört bacaklı robotik sistemlerde uçtan uca pekiştirmeli öğrenme temelli denetleyicilerin doğrudan gerçek robota aktarımında donanım özelliklerinin sim-to-real boşluğunu azaltmadaki etkisi tartışılabilir.
Robotun fiziksel dinamiklerinin sim-to-real aktarım kolaylığına katkısı tartışılırken, Solo12 platformunun hızlı dinamikleri sayesinde basit rastgeleleştirme ile doğrudan aktarılabildiği kanıt olarak sunulacaktır(Aractingi et al., 2023).
Makaleyle bağlantısı: Makalede c_E katsayısının artırılmasının güç tüketimini azalttığı fakat hız hatasını artırdığı bulgulanmıştır. Bu durumun farklı dış zemin pürüzlülüklerinde nasıl ölçeklendiği makalede açık bırakılmıştır(Aractingi et al., 2023).
Tez veya makalede kullanım · literatüre-review
Quadruped robotların enerji verimli hareket yetenekleri kazanmasında, fiziksel motor kayıplarını ve mekanik sürtünmeleri birleştiren güç cezası formülasyonlarının etkisi yüksektir.
Geleneksel tork, hız ve ivme cezaları yerine fiziksel tabanlı güç kaybı formülasyonunun tercih edilmesinin hem enerji tasarrufu hem de hiperparametre optimizasyon kolaylığı sağladığı iddiasını desteklemek için kullanılır(Aractingi et al., 2023).
Makaleyle bağlantısı: Makalede gürültü müfredatının sim-to-real transferini kolaylaştırdığı belirtilmiş, ancak bu gürültünün artış hızının veya profillerinin transfer başarısı üzerindeki hassas sınırları araştırılmamıştır(Aractingi et al., 2023).
Tez veya makalede kullanım · method
Dört bacaklı robotların hareket denetiminde pekiştirmeli öğrenme modellerinin sınır ağı mimarisi tasarımı ve çalışma frekanslarının belirlenmesinde empedans tabanlı denetleyiciler tercih edilmelidir.
Çalışmada önerilen 3 gizli katmanlı MLP (256, 128, 32) mimarisi ve 100Hz frekanstaki kontrol döngüsünün yöntemsel kurulumunu temellendirmek için referans gösterilir(Aractingi et al., 2023).
Makaleyle bağlantısı: Yazarlar, durum tahmin ağının sıralı olarak eğitilmesinin performanstan ödün vermeden RL eğitimini hızlandırdığını savunmuş ancak bunu nicel olarak karşılaştıran ayrıntılı bir deney sunmamışlardır(Aractingi et al., 2023).
Bacaklı robotik alanında çok yönlü, verimli ve güçlü platformlar geliştirmek uzun süredir temel bir araştırma hedefidir. Robot kontrölçüleri giderek daha sağlam hale gelse de, hareket performansı mevcut eklem hızı ve tork sınırları…
Etkileşimli robotik sistemlerde geleneksel konum takibi denetim şemaları ve analitik dinamik modeller, dışsal duyusal sinyallere adapte olma noktasında sınırlılıklara sahiptir. İnsan duyumotor sistemi ise analitik bir dinamik modele…
Zaman serisi tahmini (ZST), enerji tüketimi, sağlık hizmetleri, şehir içi trafik akışı, meteorolojik değişimler ve finansal piyasalar gibi birçok kritik sektörde karar verme süreçlerinin temelini oluşturmaktadır. Geleneksel…