ΠΕΡΙΛΗΨΗ Στην παρούσα διατριβή γίνεται μελέτη των Μαρκοβιανών Συστημάτων. Πιο συγκεκριμένα μελετώνται διάφορα στοχαστικά μοντέλα για τα οποία έχουμε ως στόχο να ελαχιστοποιούμε τα αναμενόμενα κόστη ή να μεγιστοποιούμε τα αναμενόμενα κέρδη. Σε κάθε στάδιο προσπαθούμε να βελτιώνουμε όσο το δυνατόν περισσότερο αυτά που περιμένουμε από ένα αβέβαιο μέλλον. Στη συνέχεια γίνεται διερεύνηση μερικών προβλημάτων βέλτιστου τερματισμού για Μαρκοβιανές διαδικασίες. Ο στόχος είναι να παρατηρήσουμε τις τυχαίες μεταβολές της διαδικασίας και να αποφασίσουμε να σταματήσουμε τη διαδικασία, όταν αυτή είναι η πιο συμφέρουσα επιλογή. Υπάρχουν πολλά ενδιαφέροντα προβλήματα αυτού του τύπου όπως το πρόβλημα του γάμου και το πρόβλημα της πώλησης ενός περιουσιακού στοιχείου τα οποία μελετώνται και αναλύονται διεξοδικά. Έπειτα μελετάμε Μαρκοβιανές διαδικασίες αποφάσεων κατά τις οποίες τα μελλοντικά κόστη αποπληθωρίζονται. Στις περιπτώσεις αυτές έχουμε ένα πεπερασμένο χώρο καταστάσεων και η κίνηση του συστήματος ελέγχεται με την επιλογή ενός πίνακα μετάβασης σε κάθε σημείο του διακριτού χρόνου. Πολλά από τα κύρια αποτελέσματα μπορεί να επεκταθούν σε απείρως πολλές καταστάσεις χωρίς μεγάλη δυσκολία, τουλάχιστον όταν αποπληθωρίζονται τα μελλοντικά κόστη. Ακόμη παρατηρούμε ότι με τη χρήση διαφόρων αλγορίθμων καταφέρνουμε να πετύχουμε βελτίωση της πολιτικής. Χαρακτηριστικό παράδειγμα αποτελεί η μελέτη του προβλήματος της αντικατάστασης ενός μηχανήματος. Τέλος ασχολούμαστε με το πρόβλημα της ελαχιστοποίησης του μακροπρόθεσμου μέσου κόστους για μια Μαρκοβιανή διαδικασία λήψης αποφάσεων. Στην περίπτωση αυτή η μόνη διαφορά είναι ότι τα μελλοντικά κόστη δεν θα πρέπει να αποπληθωρίζονται.
University of the Aegena
