İnsansı Robot Yürüyüşünün Derin Pekiştirmeli Öğrenme Tabanlı Kontrolü
Tez Türü: Doktora
Tezin Yürütüldüğü Kurum: Akdeniz Üniversitesi, Teknik Bilimler Meslek Yüksekokulu, Elektronik Ve Otomasyon Bölümü, Türkiye
Tez Danışmanı: Prof. Dr. Övünç Polat Tez Danışmanları
Tezin Onay Tarihi: 2026
Tezin Dili: Türkçe
Özet:
Bu tez çalışmasında, sagittal düzlem ağırlıklı harekete sahip üç boyutlu bir insansı robot modelinde derin pekiştirmeli öğrenme tabanlı yürüyüş denetimi incelenmiş ve özellikle kol salınım stratejilerinin yürüyüş performansı üzerindeki etkileri evrimsel strateji destekli hibrit bir öğrenme yapısı çerçevesinde değerlendirilmiştir. Çalışmada Simulink/Simscape Multibody ortamında oluşturulan, torkla sürülen ve toplam sekiz aktif serbestlik derecesine sahip bir insansı model kullanılmıştır. Bu serbestlik derecelerinin altısı alt ekstremitelere, ikisi ise omuz eklemlerine atanmıştır. Böylece üç boyutlu fiziksel yapı korunurken, öğrenme sürecini yönetilebilir kılacak ölçüde sadeleştirilmiş fakat biyomekanik açıdan anlamlı bir modelleme altyapısı oluşturulmuştur.
İzlenen yöntem iki aşamalı olarak yapılandırılmıştır. İlk aşamada ES-SAC, ES-TD3 ve ES-DDPG ajanları ile bunların saf karşılıkları olan SAC, TD3 ve DDPG algoritmaları aynı problem kurulumu altında karşılaştırılmıştır. Değerlendirmelerde normalize eğri altı alan, son dönem ödülü, en iyi pencere ödülü, hedefe ulaşma bölüm sayısı ve parkur tamamlama süresi gibi ölçütler kullanılmıştır. Elde edilen bulgular, evrimsel strateji bileşeninin keşif yeteneğini güçlendirdiğini, öğrenme sürecinin dayanıklılığını artırdığını ve genel performansa olumlu katkı sağladığını göstermiştir. Bu aşamada ES-SAC yaklaşımı, genel öğrenme başarımı ve kararlılık bakımından en güçlü yöntem olarak belirlenmiştir.
İkinci aşamada, en başarılı hibrit ajan olan ES-SAC kullanılarak üç farklı kol stratejisi düz ve engebeli zemin koşullarında ayrıntılı biçimde incelenmiştir. Bu stratejiler, kolların tamamen sabit tutulduğu sabit kol durumu, kolların aynı taraftaki bacaklarla aynı fazda salındığı anti-normal durum ve insan yürüyüşüne benzer karşı fazlı kol-bacak koordinasyonunu temsil eden normal durumdur. Bu aşamada, yürüyüş kararlılığı, ileri yönlü hareket sürekliliği, gövde dengesi ve enerjiyle ilişkili davranışları birlikte teşvik eden özel bir ödül fonksiyonu tanımlanmış, kol salınım stratejileri de omuz eklemlerinin ilgili faz ilişkilerine göre modellenmiştir. Böylece kol hareketi yalnızca kinematik bir tercih olarak değil, öğrenme sürecini ve yürüme davranışını doğrudan etkileyen bir denetim bileşeni olarak ele alınmıştır. Her koşul için beş bağımsız rastgele tohum ile eğitim yapılmış, ödül eğrileri ve yürüyüş kalitesi skoru ile birlikte ileri hız, yanal sapma, düşey salınım, toplam güç, toplam tork, birim hız başına güç ve birim hız başına tork gibi fiziksel ve davranışsal göstergeler üzerinden çok ölçütlü bir değerlendirme gerçekleştirilmiştir. Ayrıca eklem davranışlarının çevrimsel yapısını incelemek amacıyla olay hizalamalı limit çevrim faz portreleri kullanılmış, böylece analiz yalnızca ödül temelli bir karşılaştırma ile sınırlı bırakılmayarak yürüyüşün yapısal niteliğini yansıtan bir değerlendirme çerçevesi oluşturulmuştur.
Elde edilen bulgular, kol salınım biçimlerinin denetim başarımı üzerindeki etkisini ortaya koymanın yanı sıra insan yürüyüşünden elde edilen deneysel çıktılarla da karşılaştırılmıştır. Bu karşılaştırmalar, insan yürüyüşünde doğal olarak gözlenen karşı fazlı kol-bacak koordinasyonunun ritmik süreklilik, dengeleyici gövde davranışı ve enerji ekonomisi bakımından bu çalışmada elde edilen robot yürüyüş bulgularıyla genel olarak uyumlu olduğunu göstermiştir. Bununla birlikte, robot deneylerinde anti-normal kol stratejisinin bazı görev odaklı ölçütlerde, özellikle ileri hız ve birim hız başına tork gibi göstergelerde avantaj sağlayabildiği gözlenmiştir. Buna karşılık normal kol salınımı, öğrenme kararlılığı, ödül düzeyi ve yürüyüş kalitesi bakımından daha dengeli ve daha istikrarlı bir yapı ortaya koymuştur. Sabit kol konfigürasyonu ise hem öğrenme hem de yürüyüş niteliği bakımından diğer stratejilerin gerisinde kalmıştır.
Sonuç olarak bu tez, hibrit ES-SAC denetimi altında kol hareketinin insansı robot yürüyüşünde yalnızca biyomekanik görünümü değil, aynı zamanda öğrenme verimliliğini, kararlılığı, hız özelliklerini, izleme başarımını ve enerjiyle ilişkili ölçütler arasındaki ödünleşimleri de belirgin biçimde şekillendirdiğini ortaya koymaktadır. Çalışma, insan yürüyüşünden esinlenen doğal kol salınımının dengeleyici ve ekonomik bir çözüm sunduğunu, ancak robotik denetim bağlamında alternatif kol stratejilerinin de belirli performans hedefleri altında işlevsel üstünlükler üretebildiğini göstermektedir. Bu yönüyle tez, kol salınımını ikincil bir hareket unsuru olarak değil, insansı lokomosyonda işlevsel ve tasarımsal öneme sahip bir denetim değişkeni olarak konumlandırmaktadır.