Scalability of Replicated Metadata Services in Distributed File Systems

RDF 

 
This item is provided by the institution :
University of Crete
Repository :
E-Locus Institutional Repository
see the original item page
in the repository's web site and access all digital files if the item*
share



Semantic enrichment/homogenization by EKT
2012 (EN)
Κλιμακωσιμότητα υπηρεσιών διαχείρισης μεταδεδομένων με ομοιοτυπία σε κατανεμημένα συστήματα αρχείων
Scalability of Replicated Metadata Services in Distributed File Systems

Σταματάκης, Δημόκριτος Γεώργιος

Μπίλας, Άγγελος
Μαγκούτης, Κώστας

Η ανάγκη για αξιόπιστη προσπέλαση δεδομένων σε κατανεμημένα συστήματα αποθήκευσης για την υποστήριξη της εκτέλεσης κλιμακώσιμων εφαρμογών έχει πρόσφατα οδηγήσει την ερευνητική κοινότητα στη μελέτη υψηλά διαθέσιμων υπηρεσιών διαχείρισης μεταδεδομένων. Η ανάδειξη τέτοιων συστημάτων βασισμένων στην ομοιοτυπία δεδομένων (data replication) βάσει πρωτοκόλλων της οικογένειας Paxos έχει προσφέρει λύσεις σε μακροχρόνια προβλήματα στη διαχείριση ετερογενών κατανεμημένων συστημάτων μεγάλης κλίμακας. Ενώ οι υπηρεσίες αυτές έχουν βρεί χρήση στη διαχείριση κατανεμημένων υποδομών, υπάρχουν ακόμα περιοχές εφαρμογής τους που παραμένουν σε μεγάλο βαθμό ανεξερεύνητες. Μία τέτοια περιοχή είναι η διαχείριση μεταδεδομένων σε κατανεμημένα συστήματα αρχείων. Στην εργασία αυτή προτείνουμε μια αρχιτεκτονική υψηλά διαθέσιμων υπηρεσιών διαχείρισης μεταδεδομένων γενικής χρήσης με εφαρμογή στα κατανεμημένα συστήματα αρχείων. Η συνολική μας προσέγγιση βασίζεται στην χρήση ενός διαχειριστή ομοιοτυπίας δεδομένων γενικού σκοπού και την προσαρμογή και διαλειτουργικότητά του με υπάρχουσες υπηρεσίες μεταδεδομένων κατανεμημένων συστημάτων αρχείων. Επιπλέον στην εργασία αυτη δείχνουμε ότι είναι εύκολο να ενσωματώσουμε την προσέγγιση αυτή σε υπάρχοντα συστήματα (όπως το PVFS και το HDFS) που βασίζονται σε διαφορετικές (λιγότερο ευέλικτες) υλοποιήσεις. Τέλος, η πειραματική μας μελέτη δείχνει οτι η προτεινόμενη αρχιτεκτονική μπορεί να επιτύχει υψηλή διαθεσιμότητα χωρίς να υστερεί σε επίδοση. (EL)
There has been considerable interest recently in the use of highly-available configuration management services based on the Paxos family of algorithms to address long-standing problems in the management of large-scale heterogeneous distributed systems. While these services are finding their way into the management of distributed middleware systems and infrastructures, there are still areas of applicability that remain largely unexplored. One such area is the management of metadata in distributed file systems. In this thesis we propose an architecture of replicated highly-available metadata management services for distributed file systems. Our overall approach is based on the use of a general-purpose data-replication manager and a methodology for adapting it and making it interoperate with existing distributed file system metadata services. Moreover, we demonstrate that it is easy to retrofit such an approach to existing systems (such as PVFS and HDFS) that currently use different (and often ad-hoc) approaches to availability. Finally, our experimental study shows that our approach can achieve high availability without incurring a performance penalty. (EN)

text

Συστήματα αρχείων
Distributed Information Systems
Κατανεμημένα πληροφοριακά συστήματα
Κλιμακωσιμότητα
Scalability
Distributed Computing
Αποκατάσταση Συστημάτων
File Systems
Κατανεμημένοι υπολογιστές
System Recovery

Πανεπιστήμιο Κρήτης (EL)
University of Crete (EN)

2012-11-16




*Institutions are responsible for keeping their URLs functional (digital file, item page in repository site)