Dinamik ortamlarda derin takviyeli öğrenme tabanlı otonom yol planlama yaklaşımları için karşılaştırmalı analiz

Abstract

Takviyeli öğrenme, içinde bulunduğu ortamı algılayan ve kendi kendine kararlar verebilen bir sistemin, mevcut problemin çözümünde doğru kararlar almayı nasıl öğrenebileceği bir yöntemdir. Bu makalede, bir robotun haraketli engellerin(yayalar) olduğu bir ortamda engellere çarpmadan belirtilen alanda otonom bir şekilde hareket etmeyi öğrenmesi için derin takviyeli öğrenme tabanlı bir algoritma önerilmektedir. Oluşturulan simülatör ortamında derin öğrenme algoritmalarından Convolutional Neural Network(CNN), Long-short Term Memory(LSTM) ve Recurrent Neural Network(RNN) ayrı ayrı kullanılıp performansları test edilerek raporlanmıştır. Buna göre bu makale kapsamında literatüre üç önemli katkı sunulmaktadır. Birincisi etkili bir otonom robot algoritmasının geliştirilmesi, ikincisi probleme uygun olarak uyarlanabilen derin öğrenme algoritmasının belirlenmesi, üçüncü olarak otonom bir robotun hareketli engellerin olduğu kalabalık ortamlardaki hareket eylemini gerçekleştirmesi için genelleştirilmiş bir derin takviyeli öğrenme yaklaşımının ortaya konulmasıdır. Geliştirilen yaklaşımların doğrulanması için derin takviyeli öğrenme algoritmaları ayrı ayrı simüle edilerek eğitimi gerçekleştirilmiştir. Yapılan eğitim sonuçlarına göre, LSTM algoritmasının diğerlerinden daha başarılı olduğu tespit edilmiştir.

Reinforcement learning is a method of how a system that perceives its environment and can make decisions on its own can learn to make the right decisions in solving the current problem. In this article, a deep reinforcement learning-based algorithm is proposed for a robot to learn to move autonomously in a specified area without hitting obstacles in an environment with moving obstacles (pedestrians). Convolutional Neural Network (CNN), Long short Term Memory (LSTM) and Recurrent Neural Network (RNN), which are deep learning algorithms in the created simulator environment, are used separately and their performances are tested and reported. Accordingly, three important contributions to the literature are made within the scope of this article. The first is the development of an effective autonomous robot algorithm, the second is the determination of a deep learning algorithm that can be adapted to the problem, and the third is a generalized deep reinforcement learning approach for an autonomous robot to perform the movement action in crowded environments with moving obstacles. In order to verify the developed approaches, deep reinforcement learning algorithms were separately simulated and trained. According to the training results, it has been determined that the LSTM algorithm is more successful than the others.