Υλοποίηση του αλγορίθμου συστάσεων SVD στην πλατφόρμα SPARK
Ιωαννίδης, Αλεξανδρος
Το θέμα της παρούσας διπλωματικής, αφορά την επέκταση ενός συστήματος το οποίο στηρίζεται σε λογισμικό, το οποίο προτρέπει χρήστες μιας ιστοσελίδας εικονικής κοινότητας, με συμβουλευτικές προτάσεις για τη παρακολούθηση νέων ταινιών προσαρμοσμένες στις ανάγκες του κάθε χρήστη ξεχωριστά, όπως ο γνωστός διαδικτυακός τόπος Movie Lens . Πιο συγκεκριμένα το λογισμικό πρόκειται για αλγόριθμο που βραβεύτηκε ως ο τρίτος βέλτιστος αλγόριθμος στον διαγωνισμό που διεξήχθη από το Netflix για την εύρεση του καλύτερου συνεργατικού αλγορίθμου φιλτραρίσματος για την πρόβλεψη των αξιολογήσεων των χρηστών για τις ταινίες με βάση τις προηγούμενες αξιολογήσεις και χωρίς καμία άλλη πληροφορία. Στη παρούσα πτυχιακή ο αλγόριθμος αρχικά επεκτάθηκε στην ίδια γλώσσα προγραμματισμού που ήταν αρχικά υλοποιημένος σε C++, έτσι ώστε να δέχεται σύνολα δεδομένων στην μορφή του Movie Lens. Στην συνέχεια έγινε μετατροπή του σειριακού αλγορίθμου από γλώσσα προγραμματισμού C++ σε γλώσσα προγραμματισμού Java επίσης σε ακολουθιακή εκτέλεση. Μετέπειτα αξιοποιώντας το Apache Spark, το οποίο αποτελεί μια διεπαφή για τον προγραμματισμό ολόκληρων συστάδων με σιωπηρή παραλληλοποίηση των δεδομένων και ανοχή σε σφάλματα αλλά και το σύστημα NFS το οποίο είναι ένα κατανεμημένο πρωτόκολλο σύστημα αρχείων που επιτρέπει την φόρτωση απομακρυσμένων καταλόγων σε διακομιστή, έγινε απόπειρα για παραλληλοποίηση του αλγορίθμου έτσι ώστε το πρόγραμμα να παράγει τα ίδια αποτελέσματα δεδομένου της ίδιας εισόδου δεδομένων αλλά και την παρατήρηση βελτίωσης του συνολικού χρόνου εκτέλεσης του αλγορίθμου.
.jpg){kind=logo}
