Prilog razvoju empirijskog upravljačkog sistema mobilnog robota baziranog na elementima mašinskog učenja ojačavanjem i aksiomatskoj teoriji projektovanja

Abstract

Ovaj rad predstavlja istraživanje autora u domenu koncepcijskog projektovanja upravljačkog sistema koji može da uči na osnovu sopstvenog iskustva. Sposobnost adaptivnog ponašanja pri izvršavanju postavljenog zadatka u realnim, nepredvidivim uslovima, jedan je od ključnih zadataka svakog inteligentnog robotskog sistema. U funkciji rešavanja ovog problema, predlaže se pristup baziran na učenju, i to kombinovanjem empirijske upravljačke strategije, mašinskog učenja ojačavanjem i aksiomatske teorije projektovanja. Predloženi koncept koristi najbolje osobine pomenutih teorijskih pristupa u cilju ostvarivanja optimalne odluke mobilnog robota za trenutno stanje sistema. Empirijska upravljačka teorija se, u ovom radu, a priori koristi u utvrđivanju idejnog rešenja za rešavanje problema navigacije mobilnog robota. Učenje ojačavanjem realizuje mehanizme koji memorišu i ažuriraju odgovore okruženja, a u kombinaciji sa empirijskom upravljačkom teorijom određuje najbolju moguću odluku u skladu sa trenutnim okolnostima. Aksiomatska teorija projektovanja se koristi pri definisanju upravljačkog problema, kao i pri uspostavljanju koncepcijskog rešenja za dati zadatak, sa aspekta primene pomenutih pristupa. Deo predloženog algoritma empirijskog upravljanja realizovan je pomoću LEGO Mindstorms NXT mobilnog robota, tretirajući problem navigacije u nepoznatom okruženju. Ostvareni eksperimentalni rezultati nagoveštavaju dobru perspektivu za realizaciju efikasnog upravljanja baziranog na iskustvu, čiji dalji razvoj može da dovede do ostvarenja autonomnog ponašanja mobilnog robota pri izbegavanju prepreka u tehnološkom okruženju, što je i očekivani naučni cilj.

This paper presents the authors' efforts to conceptual design of control system that can learn from its own experience. The ability of adaptive behaviour regarding the given task in real, unpredictable conditions is one of the main demands for every intelligent robotic system. To solve this problem, the authors suggest a learning approach that combines empirical control strategy, reinforcement learning and axiomatic design theory. The proposed concept uses best features of mentioned theoretical approaches to produce optimal action in the current state of the mobile robot. In this paper empirical control theory imparts the basis of conceptual solution for the navigation problem of mobile robot. Reinforcement learning enables the mechanisms that memorize and update environment responses, and combining with the empirical control theory determines best possible action according to the present circumstances. Axiomatic design theory accurately defines the problem and possible solution for the given task in terms of the elements defined by two previously mentioned approaches. Part of the proposed algorithm was implemented on the LEGO Mindstorms NXT mobile robot for the navigation task in an unknown manufacturing environment. Experimental results have shown good perspective for development of efficient and adaptable control system, which could lead to autonomous mobile robot behaviour.