Αντικείμενο της παρούσας διπλωματικής εργασίας αποτελεί η ανάλυση κινούμενης εικόνας, με στόχο την εξαγωγή χρήσιμων πληροφοριών για την ανίχνευση, κατάτμηση και αναγνώριση δυναμικών χειρονομιών. Τα δεδομένα τα οποία χρησιμοποιούνται προέρχονται εξ ολοκλήρου από έναν αισθητήρα βάθους. Στόχος αποτελεί η κατασκευή ενός αποδοτικού αλγορίθμου, ο οποίος επιτρέπει στην ταχεία αναγνώριση των δράσεων του χρήστη, αποσκοπώντας ταυτόχρονα στην ελάχιστη επιβάρυνση του. Προς αυτήν την κατεύθυνση, χρησιμοποιείται για την προεπεξεργα-
σία ένας συνδυασμός γκαουσιανών μοντέλων και ανάλυσης περιγράμματος για την ανίχνευση και κατάτμηση του χεριού, με τη βοήθεια ενός πρότυπου αλγορίθμου ταχείας σκελετοποίησης. Οι περιγραφητές οι οποίοι χρησιμοποιούνται αποτελούν μία μίξη προϋπαρχόντων και πρότυπων ταχέων περιγραφητών, εξειδικευμένων στην εξαγωγή πληροφορίας για τη μεταβολή του σχήματος του υπό εξέταση αντικειμένου στο χρόνο. Το στάδιο της ταξινόμησης χρησιμοποιεί διανύσματα υποστήριξης μηχανής (γνωστά ως SVM) και τυχαία δάση (γνωστά στη διεθνή βιβλιογραφία ως Random Forests), τα οποία συνδυάζονται με τη χρήση ενός πρότυπου πιθανοτικού μοντέλου για να καταστεί δυνατή η αναγνώριση της χειρονομίας. Ο τρόπος με τον οποίο παρουσιάζεται ο προτεινόμενος αλγόριθμος φανερώνει την ανάγκη ανάδειξης της πρακτικότητας του και τη δυνατότητα άμεσης εφαρμογής του.
(EL)
TheobjectiveofthecurrentThesisistheextractionofvaluableinformationfromavideostream, relativetothedetection,segmentationandrecognitionoftheenrollingdynamichumangestures. The data being used is fully produced with a depth sensor. In order to accomplish this task, we propose an efficient algorithm, which allows fast recognition of a user’s actions. To this end, in the preprocessing stage we manage to detect and segment the user’s hand, making use
of a combination of Gaussian Mixture Models and Contour Analysis, with the addition of an
innovative fast skeletonization subsystem. In order to describe efficiently the actions’ nature,
we deploy a mixture of existing and original descriptors, specialized in extracting information
about the shape alteration of the object of interest. In the classification stage we use Support
Vector Machines (SVM) and Random Forests, which are joined together, with the deployment
of an innovative probability model, in order to perform successful gesture recognition. The way
with which the proposed algorithm is being presented exposes its applicability and its potential
of immediate implementation.
(EN)
Εθνικό Μετσόβιο Πολυτεχνείο
