Εφαρμογή τεχνικών ανάλυσης μεγάλων δεδομένων σε προβλήματα μεταφορών και αστροφυσικής

 
Το τεκμήριο παρέχεται από τον φορέα :
Πανεπιστήμιο Κρήτης
Αποθετήριο :
E-Locus Ιδρυματικό Καταθετήριο
δείτε την πρωτότυπη σελίδα τεκμηρίου
στον ιστότοπο του αποθετηρίου του φορέα για περισσότερες πληροφορίες και για να δείτε όλα τα ψηφιακά αρχεία του τεκμηρίου*
κοινοποιήστε το τεκμήριο




2017 (EL)
A big data analytics application in transportation and astrophysics
Εφαρμογή τεχνικών ανάλυσης μεγάλων δεδομένων σε προβλήματα μεταφορών και αστροφυσικής

Αντωνίου, Νεκταρία Χ.

Ζέζας, Ανδρέας
Παυλίδου, Βασιλική
Παπαδάκης, Ιωσήφ

Το αντικείμενο της παρούσας διπλωματικής εργασίας είναι η επεξεργασία και ανάλυση «Μεγάλων Δεδομένων». Για τον σκοπό αυτό δημιουργήθηκε ένα ολοκληρωμένο υπολογιστικό πλαίσιο επεξεργασίας και ανάλυσης Μεγάλων Δεδομένων. Το πλαίσιο αυτό είναι σε θέση να εκτελεί τόσο την προεπεξεργασία των δεδομένων, όσο και την ανάλυση τους για εξαγωγή αποτελεσμάτων. Για το λόγο αυτό, στο υπολογιστικό πλαίσιο η διαδικασία αποτελείται από δύο στάδια: το στάδιο της προεπεξεργασίας και προετοιμασίας των δεδομένων και το στάδιο της ανάλυσής τους. Στο πρώτο στάδιο, γίνεται χρήση της πλατφόρμας Hadoop, ενώ το δεύτερο στάδιο υλοποιείται με τη βοήθεια Τεχνητών Νευρωνικών Δικτύων (ΤΝΔ). Αρχικά, γίνεται αναλυτική περιγραφή των εργαλείων που συνθέτουν το υπολογιστικό πλαίσιο ανάλυσης Μεγάλων Δεδομένων. Στη συνέχεια παρουσιάζεται η εφαρμογή του υπολογιστικού πλαισίου σε δύο προβλήματα, ένα πρόβλημα μεταφορών και ένα πρόβλημα αστροφυσικής. Στο πρώτο πρόβλημα, από ένα μεγάλο όγκο δεδομένων από όλα τα αεροδρόμια των ΗΠΑ ανακτώνται δεδομένα για ένα συγκεκριμένο αεροδρόμιο και αυτά αναλύονται, έτσι ώστε να υπολογιστεί για ένα μεγάλο χρονικό διάστημα (18 ετών) η μέση καθυστέρηση πτήσεων ανά ημέρα και αυτά τα αποτελέσματα να χρησιμοποιηθούν για να προβλεφθεί ο συνολικός χρόνος που απαιτείται για την εξομάλυνση και την επιστροφή των λειτουργιών του αεροδρομίου στους προγραμματισμένους τους χρόνους. Στο δεύτερο πρόβλημα, βασιζόμενοι στα χρώματα των γαλαξιών, επιχειρήθηκε μέσω των ΤΝΔ η πρόβλεψη της μορφολογίας γαλαξιών που έχουν παρατηρηθεί με την χρήση του τηλεσκόπιου SDSS («Sloan Digital Sky Survey»). Τα εξαγόμενα αποτελέσματα αποτιμώνται και εξάγονται συμπεράσματα για την ικανότητα του υπολογιστικού πλαισίου που παρουσιάστηκε να ανακτήσει και να αναλύσει επιτυχώς Μεγάλα Δεδομένα. Τέλος, δίδονται κατευθύνσεις για περαιτέρω μελέτη και βελτίωση του υλοποιηθέντος πλαισίου. (EL)
The main subject of this thesis is the development of a complete computational framework for «Big Data» analytics. This framework is able to perform the pre-processing and manipulation of data, as well as their analysis. For this reason, the computational framework requires two stages: the pre-processing and preparation stage of the data and the stage of data analysis. The first stage utilizes Hadoop platform, while the second stage utilizes Artificial Neural Networks (ANN). Initially, a detailed description of the tools that are used in the computational framework is given. Then, the application of the presented framework is given on a transportation problem and an astrophysics problem. For the transportation problem, a large amount of data from all US airports were retrieved and data for one particular airport were extracted, in order to identify mean flight delays per day. Then, these data were used to predict the time required for airport operations to return back to their scheduled times (i.e., normalization time). For the second problem, an attempt was made, via ANN, to predict the morphology of galaxies based on spectral data from Sloan Digital Sky Survey (SDSS). The results from these two applications are presented and discussed extensively. Finally, conclusions are drawn on the ability of the computational framework to handle successfully problems related to Big Data analytics and suggestions for its further improvement are made. (EN)

text
Τύπος Εργασίας--Μεταπτυχιακές εργασίες ειδίκευσης

Τεχνητά νευρωνικά δίκτυα
Μορφολογία γαλαξιών
Hive
Flights delays
Μεγάλα δεδομένα
Hadoop
Artificial neural networks
Αεροδρόμια
Airports
Morphology of galaxies
Καθυστέρηση πτήσεων
Μέσα μεταφορών

Πανεπιστήμιο Κρήτης (EL)
University of Crete (EN)

Ελληνική γλώσσα

2017-07-21


Σχολή/Τμήμα--Σχολή Θετικών και Τεχνολογικών Επιστημών--Τμήμα Φυσικής--Μεταπτυχιακές εργασίες ειδίκευσης



*Η εύρυθμη και αδιάλειπτη λειτουργία των διαδικτυακών διευθύνσεων των συλλογών (ψηφιακό αρχείο, καρτέλα τεκμηρίου στο αποθετήριο) είναι αποκλειστική ευθύνη των αντίστοιχων Φορέων περιεχομένου.