Η παρούσα διπλωματική εργασία διερευνά την εφαρμογή της ενισχυόμενης μάθησης (RL) στο arcade κλασικό παιχνίδι Frogger χρησιμοποιώντας τον αλγόριθμο Deep Q-Network (DQN).Ο κύριος στόχος είναι να εκπαιδευτεί ένας πράκτορας να περιηγείται αποτελεσματικά στο δυναμικό περιβάλλον του παιχνιδιού, προχωρώντας στα επίπεδα και φτάνοντας στα καθορισμένα σπίτια, ενώ αποφεύγει διάφορα εμπόδια, όπως οχήματα, κορμούς και χελώνες,. Η έρευνα περιλαμβάνει την ανάπτυξη ενός απλοποιημένου περιβάλλοντος του παιχνιδιού Frogger χρησιμοποιώντας Python και τη βιβλιοθήκη Pygame, και τη δημιουργία ενός πλαισίου RL συμβατού με το OpenAI Gym.Κύρια στοιχεία της μελέτης περιλαμβάνουν την εφαρμογή του DQN και την εξέταση διαφορετικών σεναρίων εκπαίδευσης για τη βελτιστοποίηση της απόδοσης του πράκτορα. Η έρευνα εξετάζει την επίδραση της μεταβολής του μέγιστου αριθμού βημάτων ανά επεισόδιο, τις προσαρμογές των υπερπαραμέτρων και την εισαγωγή της μείωσης του ρυθμού εκμάθησης στην αποδοτικότητα της μάθησης και στην ικανότητα του πράκτορα στο παιχνίδι.Τα ευρήματα δείχνουν ότι η επέκταση της διάρκειας εκπαίδευσης και η ενσωμάτωση της μείωσης του ρυθμού εκμάθησης βελτιώνουν σημαντικά την απόδοση του πράκτορα, οδηγώντας σε υψηλότερες και πιο σταθερές ανταμοιβές και καλύτερη επιτυχία στην επίτευξη των στόχων του παιχνιδιού. Ωστόσο, ο πράκτορας αντιμετωπίζει σταθερά δυσκολίες στην αποφυγή εμποδίων, οδηγώντας σε υψηλούς αριθμούς θανάτων στα διάφορα σενάρια εκπαίδευσης. Αυτό υποδηλώνει την ανάγκη για περαιτέρω βελτίωση της συνάρτησης ανταμοιβής ή και την εξερεύνηση εναλλακτικών αλγορίθμων RL για την αντιμετώπιση αυτών των προκλήσεων.Η παρούσα διπλωματική εργασία συμβάλλει στην όλο και αυξανόμενη γνώση σχετικά με την RL και τις εφαρμογές της σε περιβάλλοντα παιχνιδιών, παρέχοντας γνώσεις για την ανάπτυξη αυτόνομων πρακτόρων που είναι ικανοί να μαθαίνουν και να προσαρμόζονται σε πολύπλοκα και απρόβλεπτα περιβάλλοντα. Οι μελλοντικές ερευνητικές κατευθύνσεις περιλαμβάνουν τη βελτιστοποίηση των δομών ανταμοιβής, τη δοκιμή εναλλακτικών αλγορίθμων RL και την εφαρμογή αυτών των γνώσεων σε πραγματικές εφαρμογές, όπως η αυτόνομη οδήγηση και η ρομποτική
(EL)
This thesis investigates the application of reinforcement learning (RL) to the classic arcade game Frogger using the Deep Q-Network (DQN) algorithm. The primary objective is to train an agent to navigate the game’s dynamic and hazardous environment effectively, advancing through levels by reaching designated homes while avoiding various obstacles such as vehicles, logs, turtles, alligators, and snakes. The research involves the development of a simplified Frogger game environment using Python and the Pygame library, and the creation of an RL framework compatible with OpenAI Gym.
Key components of the study include the implementation of DQN with experience replay and fixed Q-targets, and the examination of different training scenarios to optimize the agent's performance. The research explores the impact of varying maximum steps per episode, adjustments to hyperparameters, and the introduction of learning rate decay on the agent’s learning efficiency and gameplay proficiency.
The findings indicate that extending the training duration and incorporating learning rate decay significantly enhance the agent’s performance, resulting in higher and more stable rewards, and improved success in reaching game objectives. However, the agent consistently struggles with avoiding obstacles, leading to high death counts across different training scenarios. This suggests the need for further refinement of the reward function and exploration of alternative RL algorithms to address these challenges.
This thesis contributes to the growing body of knowledge in RL and its applications in game environments, providing insights into the development of autonomous agents capable of learning and adapting in complex and unpredictable settings. Future research directions include optimizing reward structures, testing alternative RL algorithms, and applying these insights to real-world applications such as autonomous driving and robotics.
(EN)
Εθνικό και Καποδιστριακό Πανεπιστήμιο Αθηνών
