Βελτιστοποίηση γενικών συνδέσεων σε συστήματα Spark

 
see the original item page
in the repository's web site and access all digital files if the item*
share




2016 (EN)
Βελτιστοποίηση γενικών συνδέσεων σε συστήματα Spark

Μπούζμπας, Φαίδων Γεωργίου

In this work, we present and examine ways for a more efficient run of theta joins in a Spark system which extends the MapReduce programming model. Specifically, we focus on the optimization of the percentage of the communication cost, which occurs by performing theta joins in a Spark system and on the efficiency of the workload, which is affected by the dispersion of the data in a distributed system. Meanwhile, we conduct experiments in big sets of data and we present the findings, which show the optimization percentage that has been accomplished. Finally, we mention a methodology for inserting data in a Spark system and using appropriate techniques in order to reduce the communication cost that occurs during the execution of natural join tasks.
Στην παρούσα εργασία, παρουσιάζουμε και εξετάζουμε τρόπους για την αποδοτικότερη εκτέλεση γενικών συνδέσεων σε ένα σύστημα Spark που επεκτείνει το προγραμματιστικό μοντέλο MapRecuce. Συγκεκριμένα, επικεντρωνόμαστε στη βελτιστοποίηση του ποσοστού του κόστους επικοινωνίας, που προκύπτει από την υλοποίηση γενικών συνδέσεων στο σύστημα Spark και στην αποδοτικότερη κατανομή του φόρτου εργασίας, που επηρεάζεται από τη διασπορά των δεδομένων μέσα σε ένα κατανεμημένο σύστημα. Παράλληλα εκτελούμε πειράματα σε μεγάλα σύνολα δεδομένων και παρουσιάζουμε τα ευρήματα, που δείχνουν το ποσοστό της βελτιστοποίησης που έχει επιτευχθεί. Τέλος, αναφέρουμε μία ολοκληρωμένη μεθοδολογία για την εισαγωγή δεδομένων σε ένα σύστημα Spark και τη χρήση των κατάλληλων τεχνικών για τη μείωση του κόστους επικοινωνίας κατά την εκτέλεση γενικών συνδέσεων.

info:eu-repo/semantics/masterThesis
Postgraduate Thesis / Μεταπτυχιακή Εργασία

Γενικές συνδέσεις
Βελτιστοποίηση κόστους επικοινωνία
Optimization of communication cost
Theta-Joins
Apache Spark

Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης (EL)
Aristotle University of Thessaloniki (EN)

Greek

2016
2016-10-07T10:35:30Z


Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης, Σχολή Θετικών Επιστημών, Τμήμα Πληροφορικής

This record is part of 'IKEE', the Institutional Repository of Aristotle University of Thessaloniki's Library and Information Centre found at http://ikee.lib.auth.gr. Unless otherwise stated above, the record metadata were created by and belong to Aristotle University of Thessaloniki Library, Greece and are made available to the public under Creative Commons Attribution-ShareAlike 4.0 International license (http://creativecommons.org/licenses/by-sa/4.0). Unless otherwise stated in the record, the content and copyright of files and fulltext documents belong to their respective authors. Out-of-copyright content that was digitized, converted, processed, modified, etc by AUTh Library, is made available to the public under Creative Commons Attribution-ShareAlike 4.0 International license (http://creativecommons.org/licenses/by-sa/4.0). You are kindly requested to make a reference to AUTh Library and the URL of the record containing the resource whenever you make use of this material.
info:eu-repo/semantics/openAccess



*Institutions are responsible for keeping their URLs functional (digital file, item page in repository site)