Αναγνώριση Ανθρώπινης Δράσης και Χειρονομιών χρησιμοποιώντας Συνελικτικά και Αναδρομικά Νευρωνικά Δίκτυα

Αναγνώριση Ανθρώπινης Δράσης και Χειρονομιών χρησιμοποιώντας Συνελικτικά και Αναδρομικά Νευρωνικά Δίκτυα (EL)

Πίσσας, Θεόδωρος (EL)

Pissas, Theodoros (EN)

ntua (EL)

Μαραγκός, Πέτρος (EL)

Τζαφέστας, Κωνσταντίνος (EL)

Ποταμιάνος, Γεράσιμος (EL)

bachelorThesis

2017-07-18

2017-10-11T10:02:45Z

2017-10-11

Στην παρούσα διπλωματική επιδιώκεται να επιλυθεί το πρόβλημα της αναγνώρισης δράσεων και χειρονομιών χρησιμοποιώντας μοντέλα Τεχνητών Νευρωνικών Δικτύων. Συγκεκριμένα εξετάζονται δύο κατηγορίες εξειδικευμένων νευρωνικών μοντέλων, τα Συνελικτικά Νευρωνικά Δίκτυα και τα Αναδρομικά Νευρωνικά Δίκτυα.Τα πρώτα έχουν τη δυνατότητα να εντοπίζουν και να εξάγουν τοπικά χωρικά ή χωρικά-χρονικά χαρακτηριστικά από βίντεο,ενώ τα δεύτερα είναι κατάλληλα για τη συνολική χρονική μοντελοποίηση μίας δράσης.Προκειμένου να εξετασθεί η συνεισφορά των δύο κατηγοριών μοντέλων διεξήχθησαν πειράματα για τρία διαφορετικά μοντέλα: Ένα Νευρωνικό Δίκτυο Τρισδιάστατης Συνέλιξης (3D-CNN) το οποίο εξάγει μόνο τοπικά χωροχρονικά χαρακτηριστικά από τμήματα (δηλαδή έναν αριθμό συνεχόμενων καρέ) ενός βίντεο και δύο Αναδρομικά Νευρωνικά Δίκτυα που αποτελούνται από στρώματα νευρώνων Μακράς και Βραχείας Μνήμης (Long and Short Term Memory ή LSTM),εκ των οποίων,το πρώτο (3D-CNN-LSTM) χρησιμοποιεί τα τοπικά χωροχρονικά χαρακτηριστικά που εξάγει ένα Νευρωνικό Δίκτυο Τρισδιάστατης Συνέλιξης από τμήματα ενός βίντεο και το δεύτερο (CNN-LSTM) χρησιμοποιεί τα χωρικά χαρακτηριστικά που εξάγει ένα Νευρωνικό Δίκτυο Δισδιάστατης Συνέλιξης (2D-CNN ή απλά CNN) από κάθε καρέ ενός βίντεο.Τα παραπάνω μοντέλα εκπαιδεύτηκαν και αξιολογήθηκαν επί τριών βάσεων δεδομένων μεσαίας κλίμακας (KTH, SKIG). Στη βάση SKIG, που περιέχει βίντεο με δυναμικές χειρονομίες,εκπαιδεύονται ξεχωριστά μοντέλα για δύο διαφορετικές τροπικότητες το RGB βίντεο και το βίντεο βάθους (Depth). Κατά συνέπεια, εκτιμάται η επίδραση του είδους της οπτικής πληροφορίας στην απόδοση των μοντέλων και αξιολογείται η βελτίωση που προσφέρει η σύμμειξη τους. Επιπλέον, στα πλαίσια των πειραμάτων γίνεται πειραματική αξιολόγηση της επίδρασης κάποιων εμπειρικά επιβεβαιωμένων μεθοδολογιών (Προγραμματισμός ρυθμού μάθησης και Επαύξηση Δεδομένων) και τεχνικών κανονικοποίησης (Dropout και Batch Normalization) που αποσκοπούν στην βελτίωση της ικανότητας γενίκευσης των μοντέλων καθώς και στην επιτάχυνση της διαδικασίας εκπαίδευσης.Τέλος,επιδιώχθηκε να ενσωματωθούν τα εκπαιδευμένα μοντέλα σε ένα σύστημα on-line αναγνώρισης χειρονομιών,το οποίο αναπτύχθηκε εντός του περιβάλλοντος του R.O.S(Robotics Operating System).Το σύστημα αυτό επιτρέπει την ταχύτατη επεξεργασία και αναγνώριση χειρονομιών (της τάξης μεγέθους των εκατοντάδων mseconds ανά χειρονομία) σε σχέση με άλλες κλασσικές μεθόδους αναγνώρισης που βασίζονται στην εξαγωγή κατασκευασμένων χαρακτηριστικών,όπως οι πυκνές τροχιές, που απαιτούν σημαντικά περισσότερο χρόνο για τον υπολογισμό τους. (EL)

Αναγνώριση Ανθρώπινης Δράσης (EL)

Συνελικτικά Νευρωνικά Δίκτυα (EL)

Νευρώνες Μακράς Μνήμης (EL)

Νευρώνες Μακράς (EL)

Νευρώνες Βραχείας Μνήμης (EL)

Αναδρομικά Νευρωνικά Δίκτυα (EL)

Δισδιάστατη Συνέλιξη (EL)

Τρισδιάστατη Συνέλιξη (EL)

Αναγνώριση Ανθρωπίνων Χειρονομιών (EL)

Human action recognition (EN)

Gesture Recognition (EN)

Recurrent Neural Networks (EN)

3D convolution (EN)

Convolutional Neural Networks (EN)

2D convolution (EN)

Neurons with Long-Short Term Memory (EN)

Greek

Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής. Εργαστήριο Ρομποτικής και Αυτοματισμού (EL)

Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα

http://creativecommons.org/licenses/by-nc-nd/3.0/gr/

National Technical University of Athens

Digital Library of National Technical University of Athens | Dspace@NTUA

Κεντρική Βιβλιοθήκη Ε.Μ.Π.

Ιδρυματικό Αποθετήριο

Διπλωματικές Εργασίες