Η πρόκληση του σημερινού κόσμου είναι τα δεδομένα. Ένας τεράστιος όγκος δεδομένων παράγεται
κάθε δευτερόλεπτο και η δημιουργία τους συνεχίζει να αυξάνεται με ραγδαίο ρυθμό. Εικόνες, βίντεο,
μουσική, έγγραφα, emails, αρχεία καταγραφής σφαλμάτων, δεδομένα από αισθητήρες και δορυφό-
ρους, είναι μερικά μόνο από τα δεδομένα που παράγονται από τους ανθρώπους είτε από μηχανές, ως
μέρος του Διαδικτύου των Πραγμάτων (Internet of Things). Όλα αυτά τα δεδομένα όμως δεν έχουν
καμία αξία, αν δεν μπορούμε να τα μετατρέψουμε σε πολύτιμη πληροφορία και να τη χρησιμοποιή-
σουμε ώστε να βελτιώσουμε τις ζωές μας.
Ευτυχώς, τη σημερινή εποχή, διαθέτουμε πολύτιμα εργαλεία, τα οποία μπορούν να μας βοηθήσουν
στην οργάνωση, στην αποθήκευση και στην ανάλυση όλων αυτών των δεδομένων. Η εισαγωγή του
Υπολογιστικού Νέφους (Cloud Computing), καθώς και η ανάπτυξη διαφόρων κατανεμημένων συστη-
μάτων και προγραμματιστικών μοντέλων μας έδωσε τη δυνατότητα να εξάγουμε ουσιαστική πληρο-
φορία και να μετατρέψουμε όλα αυτά τα σκόρπια, φαινομενικά ασύνδετα μεταξύ τους δεδομένα, σε
πολύτιμη γνώση.
Σε αυτή τη διπλωματική εργασία, επικεντρωνόμαστε περισσότερο στα δεδομένα με τη μορφή γράφων.
Τα Διασυνδεδεμένα Δεδομένα (Linked Data), δηλαδή τα δεδομένα που δημοσιεύονται στις διάφορες
ιστοσελίδες και συνδέονται μεταξύ τους, είναι μια κατηγορία δεδομένων που μπορεί να σχηματίσει
τεράστιους γράφους. Αξιοποιούμε τις δυνατότητες που μας προσφέρει το Cloud Computing, καθώς
και τα υπάρχοντα κατανεμημένα συστήματα, ώστε να φορτώσουμε δεδομένα αυτής της μορφής και
να υλοποιήσουμε αλγορίθμους που απαντάνε σε διαφόρων ειδών ερωτήματα πάνω σε τέτοιου είδους
δεδομένα. Στη συνέχεια, μελετάμε την απόδοση του συστήματός μας καθώς ο αριθμός των υπολογι-
στικών πόρων αυξάνεται και ελέγχουμε την εγκυρότητα των αποτελεσμάτων μας, με την εκτέλεση
των ίδιων ερωτημάτων πάνω στα ίδια δεδομένα σε ένα κεντρικό σύστημα. Επιπλέον, ερευνούμε πώς
ένα ερώτημα διαφορετικού είδους ή η αντικατάσταση διαφόρων παραμέτρων του, μπορεί να επηρε-
άσει το χρόνο υπολογισμό του.
(EL)
Today’s world challenge is data. A huge amount of data is generated every second and the pace of
data creation continues to accelerate rapidly. Images, videos, music, documents, emails, machine logs,
sensor data, satellite data are a few only the data produced either by people, or by machines as part
of the Internt of Things (IoT). All this data though is worth nothing unless we are able to turn it into
valuable information and use it in order to improve our lives.
Fortunately, nowadays we are holding in our hands precious tools, which can help us in the organization,
storage and analysis of all this data. The introduction of the Cloud Computing model, as well as
the development of various distributed frameworks and programming models has enabled us to extract
meaningful information and transform all this scattered, seemingly unrelated data into valuable
knowledge.
In this thesis, we are focusing more on graph data. Linked data, the data published in various websites
and connected between them, are a category of data that can lead to huge graphs. We exploit the Cloud
environment, as well as the existing distributed frameworks, in order to load data of this form and
implement algorithms which allow us to answer various kinds of queries over such type of data. Then,
we study the performance of our system as the number of computer resources increases and verify the
validity of our results, by executing the same queries over the same datasets in a centralized system.
Furthermore, we investigate how a different kind of query or the change of the various parameters
involved, can influence the execution time.
(EN)
Εθνικό Μετσόβιο Πολυτεχνείο
