میک رویکرد تطبیقی یادگیری تقویتی عمیق برای کنترل MIMO PID رباتهای متحرک
An adaptive deep reinforcement learning approach for MIMO PID control of mobile robots
Ignacio Carlucho 1, Mariano De Paula 2, Gerardo G Acosta 3
- PMID: 32085878
ISA
. 2020 Jul;102:280-294.
doi: 10.1016/j.isatra.2020.02.017.
:انتشار 2020 Feb 19.
Abstract
Intelligent control systems are being developed for the control of plants with complex dynamics. However, the simplicity of the PID (proportional-integrative-derivative) controller makes it still widely used in industrial applications and robotics. This paper proposes an intelligent control system based on a deep reinforcement learning approach for self-adaptive multiple PID controllers for mobile robots. The proposed hybrid control strategy uses an actor-critic structure and it only receives low-level dynamic information as input and simultaneously estimates the multiple parameters or gains of the PID controllers. The proposed approach was tested in several simulated environments and in a real time robotic platform showing the feasibility of the approach for the low-level control of mobile robots. From the simulation and experimental results, our proposed approach demonstrated that it can be of aid by providing with behavior that can compensate or even adapt to changes in the uncertain environments providing a model free unsupervised solution. Also, a comparative study against other adaptive methods for multiple PIDs tuning is presented, showing a successful performance of the approach.
Keywords: Adaptive control; Mobile robots; Multi-platforms; Reinforcement learning.
یک رویکرد تطبیقی یادگیری تقویتی عمیق برای کنترل MIMO PID رباتهای متحرک
چکیده
سیستم های کنترل هوشمند برای کنترل دستگاه ها با دینامیک پیچیده در حال توسعه هستند. با این حال، سادگی کنترلر PID (تناسبی- انتگرال گیر- مشتق گیر) باعث می شود تا به طور گسترده در کاربردهای صنعتی و روباتیک مورد استفاده قرار گیرد. این مقاله یک سیستم کنترل هوشمند مبتنی بر رویکرد یادگیری تقویتی عمیق را برای کنترلرهای PID چندگانه خودسازگار برای روبات‌های متحرک پیشنهاد میکند. استراتژی کنترل ترکیبی پیشنهادی از یک ساختار عملگر-نقاد استفاده میکند و فقط اطلاعات پویا سطح پایین را به عنوان ورودی دریافت میکند و به طور همزمان پارامترهای متعدد یا بهره های کنترلرهای PID را تخمین می‌زند. رویکرد پیشنهادی در چندین محیط شبیه‌سازی‌شده و در یک پلتفرم روباتیک بلادرنگ (Real Time) آزمایش شد که امکان‌سنجی این رویکرد برای کنترل سطح پایین روبات‌های متحرک را نشان می‌دهد. از نتایج شبیه‌سازی و تجربی، رویکرد پیشنهادی ما نشان داد که می‌تواند با ارائه رفتاری که تغییرات را جبران میکند یا حتی با تغییرات در محیط‌های نامشخص با ارائه یک راه‌حل بدون نظارت بدون مدل سازگار می شود کمک کند. همچنین، یک مطالعه مقایسه ای در برابر روش های تطبیقی دیگر برای تنظیم چند PID ارائه شده است که عملکرد موفقیت آمیز این رویکرد را نشان می دهد.
کلمات کلیدی: کنترل تطبیقی؛ ربات های متحرک؛ پلتفرم چندگانه؛ یادگیری تقویتی.
An adaptive deep reinforcement learning approach for MIMO PID control of mobile robots
Ignacio Carlucho 1, Mariano De Paula 2, Gerardo G Acosta 3
- PMID: 32085878
ISA
. 2020 Jul;102:280-294.
doi: 10.1016/j.isatra.2020.02.017.
:انتشار 2020 Feb 19.
Abstract
Intelligent control systems are being developed for the control of plants with complex dynamics. However, the simplicity of the PID (proportional-integrative-derivative) controller makes it still widely used in industrial applications and robotics. This paper proposes an intelligent control system based on a deep reinforcement learning approach for self-adaptive multiple PID controllers for mobile robots. The proposed hybrid control strategy uses an actor-critic structure and it only receives low-level dynamic information as input and simultaneously estimates the multiple parameters or gains of the PID controllers. The proposed approach was tested in several simulated environments and in a real time robotic platform showing the feasibility of the approach for the low-level control of mobile robots. From the simulation and experimental results, our proposed approach demonstrated that it can be of aid by providing with behavior that can compensate or even adapt to changes in the uncertain environments providing a model free unsupervised solution. Also, a comparative study against other adaptive methods for multiple PIDs tuning is presented, showing a successful performance of the approach.
Keywords: Adaptive control; Mobile robots; Multi-platforms; Reinforcement learning.
یک رویکرد تطبیقی یادگیری تقویتی عمیق برای کنترل MIMO PID رباتهای متحرک
چکیده
سیستم های کنترل هوشمند برای کنترل دستگاه ها با دینامیک پیچیده در حال توسعه هستند. با این حال، سادگی کنترلر PID (تناسبی- انتگرال گیر- مشتق گیر) باعث می شود تا به طور گسترده در کاربردهای صنعتی و روباتیک مورد استفاده قرار گیرد.
این مقاله یک سیستم کنترل هوشمند مبتنی بر رویکرد یادگیری تقویتی عمیق را برای کنترلرهای PID چندگانه خودسازگار برای روبات‌های متحرک پیشنهاد میکند. استراتژی کنترل ترکیبی پیشنهادی از یک ساختار عملگر-نقاد استفاده میکند و فقط اطلاعات پویا سطح پایین را به عنوان ورودی دریافت میکند و به طور همزمان پارامترهای متعدد یا بهره های کنترلرهای PID را تخمین می‌زند.
رویکرد پیشنهادی در چندین محیط شبیه‌سازی‌شده و در یک پلتفرم روباتیک بلادرنگ (Real Time) آزمایش شد که امکان‌سنجی این رویکرد برای کنترل سطح پایین روبات‌های متحرک را نشان می‌دهد. از نتایج شبیه‌سازی و تجربی، رویکرد پیشنهادی ما نشان داد که می‌تواند با ارائه رفتاری که تغییرات را جبران میکند یا حتی با تغییرات در محیط‌های نامشخص با ارائه یک راه‌حل بدون نظارت بدون مدل سازگار می شود کمک کند.
همچنین، یک مطالعه مقایسه ای در برابر روش های تطبیقی دیگر برای تنظیم چند PID ارائه شده است که عملکرد موفقیت آمیز این رویکرد را نشان می دهد.
کلمات کلیدی: کنترل تطبیقی؛ ربات های متحرک؛ پلتفرم چندگانه؛ یادگیری تقویتی.
نقد و بررسی‌ها
هنوز بررسی‌ای ثبت نشده است.