Το Cloud Computing, χάρις στην κεντρική του ιδέα περί κοινής χρήσης φυσικών πόρων από
πολλαπλούς χρήστες, καθιστά δυνατή την κατά βούληση, ομαλά κλιμακούμενη, αυξομείωση των
χρησιμοποιούμενων υπολογιστικών πόρων. Αυτή η ιδιότητα είναι η λεγόμενη “Ελαστικότητα”, η
οποία δίνει την δυνατότητα, στους χρήστες ενός νέφους (cloud) να έχουν πρόσβαση σε
φαινομενικά άπειρους διαμοιραζόμενους πόρους, ενώ στους παρόχους ενός νέφους να
βελτιστοποιούν την χρησιμοποίηση των κέντρων δεδομένων (datacenters) τους και να
μεγιστοποιούν τα κέρδη τους. Ο ακριβής έλεγχος των υπολογιστικών πόρων ανοίγει τον δρόμο για
την εφαρμογή δυναμικών πολιτικών δέσμευσής τους, οι οποίες θα ανταποκρίνονται επακριβώς και
ανά πάσα χρονική στιγμή, στον φόρτο εργασίας και στις ανάγκες των εκάστοτε εφαρμογών και
υπηρεσιών που εκτελούνται στο νέφος. Δυστυχώς, στα περιβάλλοντα υπολογιστικών νεφών, τα
φορτία είναι ως επί το πλείστον δυναμικά και ετερογενούς φύσεως, όπως άλλωστε και οι ίδιοι οι
πόροι. Ως εκ τούτου, προκύπτουν ποικίλλα πολύπλοκα προβλήματα διαχείρισης των υπολογιστικών
πόρων, συχνά σχετιζόμενα με την κατανομή και την χρονοδρομολόγησή τους. Εξαιτίας της υψηλής
πολυπλοκότητας και των αυστηρών απαιτήσεων αυτών των προβλημάτων, οι παραδοσιακοί
αλγόριθμοι επίλυσής τους δεν επαρκούν, και η ερευνητική κοινότητα εξετάζει καινοτόμες
προσεγγίσεις από διαφορετικά επιστημονικά πεδία.
Στην παρούσα εργασία μελετούμε αλγορίθμους στους οποίους, ένας ευφυής πράκτορας αποφασίζει
για την λήψη ενεργειών βασιζόμενoς σε πολλαπλά κριτήρια, και ο οποίος παρατηρώντας τις
επιβραβεύσεις που λαμβάνει ως απόκριση του περιβάλλοντος στις ενέργειές του, μαθαίνει να
επιλέγει τις ενέργειες εκείνες που βελτιστοποιούν την απόδοσή του. Αλγόριθμοι αυτού του τύπου
ενδείκνυνται εν γένει για προβλήματα ακολουθιακής λήψης αποφάσεων, σε πραγματικό χρόνο, υπό
καθεστώς αβεβεβαιότητας. Συγκεκριμένα, εξετάζουμε μία σειρά από αλγορίθμους, μεθόδους, και
τεχνικές, Ενισχυτικής Μάθησης (Reinforcement Learning) και μηχανημάτων τυχερών παιγνίων
(Multi-Armed Bandits), για την επίτευξη αποδοτικής προσαρμοστικής δέσμευσης των
υπολογιστικών πόρων ενός νέφους. Αντλώντας έμπνευση από ένα αντίστοιχο πλαίσιο διαχείρισης
πόρων (TIRAMOLA), ειδικευμένο στην προσαρμογή του μεγέθους NoSQL συστοιχιών που
τρέχουν πάνω από IaaS, εκτελούμε προσομοιώσεις σε περιβάλλον MATLAB, ώστε να
μελετήσουμε την διαδικασία λήψης αποφάσεων, να εξερευνήσουμε την επίδραση διαφορετικών
μοντέλων, και να πειραματιστούμε με τις τιμές διαφόρων παραμέτρων. Υποστηρίζουμε ότι οι
προσομοιώσεις είναι ένα αναντικατάστατο εργαλείο κατά την σχεδίαση πραγματικών συστημάτων
διαχείρισης πόρων υπολογιστικών νεφών, και ότι τα αποτελέσματά τους καταδεικνύουν σημαντικές
πτυχές του προβλήματος που αξίζουν περαιτέρω μελέτης.
(EL)
Cloud Computing, thanks to its core idea of multiple users sharing the same physical resources, has
made possible to scale computing resources up and down, at will, and with minimal friction. This
property, known as resource “Elasticity”, enables cloud clients to effortlessly access a seemingly
infinite shared pool of such resources, while cloud providers can precisely optimize resource
utilization in their data-centers, as well as maximize their profits. This improved resource control
paves the way for dynamic provisioning policies, in an effort to precisely meet the actual workload
and requirements of the running applications and services, at any given point in time. Unfortunately,
in a cloud environment, workloads are usually of a dynamic and heterogeneous nature. As a result, a
variety of complex resource management problems has emerged, often related to resource allocation
and scheduling. There is on-going research aimed at tackling those problems, using state-of-the-art
methods originating from diverse scientific fields, especially since traditional algorithms do not
cope well with the higher complexity and stronger requirements of those problems.
In this thesis, we study algorithms in which, an intelligent agent decides which actions to take based
on multiple criteria, and by observing the rewards it receives as an environmental response to those
actions, learns – at runtime - to improve its decision-making in a way that optimizes its
performance. Online learning algorithms of that type are a seemingly good fit for real-time
decision-making problems under uncertainty. In specific, we examine a range of Reinforcement
Learning and Multi-Armed Bandit algorithms, methods, and techniques, for achieving efficient
adaptive cloud resource provisioning. We draw inspiration from an existing resource management
framework (TIRAMOLA), specialized in the resizing of NoSQL clusters that run over IaaS, and run
simulations in MATLAB in order to, delve deeper into the various aspects of the decision-making
procedure, explore the effect of different modeling approaches, and experiment with the algorithms'
learning parameters' values. We argue that simulation tools are imperative for designing a cloud-
based resource management system, and that simulation results highlight important issues, worthy
of further study when designing a similar real-world system.
(EN)
Εθνικό Μετσόβιο Πολυτεχνείο
