Οπτική παρακολούθηση ενός 3Δ μοντέλου του ανθρώπινου χεριού.

 
Το τεκμήριο παρέχεται από τον φορέα :
Πανεπιστήμιο Κρήτης
Αποθετήριο :
E-Locus Ιδρυματικό Καταθετήριο
δείτε την πρωτότυπη σελίδα τεκμηρίου
στον ιστότοπο του αποθετηρίου του φορέα για περισσότερες πληροφορίες και για να δείτε όλα τα ψηφιακά αρχεία του τεκμηρίου*
κοινοποιήστε το τεκμήριο




2009 (EL)
Vision based tracking of a 3D model of a human hand
Οπτική παρακολούθηση ενός 3Δ μοντέλου του ανθρώπινου χεριού.

Φλώρος, Γεώργιος Δρόσου
Floros, Georgios

Αργυρός, Αντώνιος

Η εργασία αυτή έχει ως σκοπό την ανάκτηση της 3Δ δομής και κίνησης ενός ανθρώπινου χεριού από ακολουθίες εικόνων που προέρχονται από μία κάμερα. Ένα 3Δ γεωμετρικό μοντέλο του χεριού δημιουργείται από κόλουρους κώνους, κυλίνδρους και ελλειψοειδή. Η 2Δ προβολή του μοντέλου παράγεται με αποδοτικό τρόπο, χρησιμοποιώντας εργαλεία από την προβολική γεωμετρία. Η παρακολούθηση του χεριού διατυπώνεται σαν ένα πρόβλημα εκτίμησης καταστάσεων. Οι παράμετροι του 3Δ μοντέλου του χεριού ορίζουν την εσωτερική κατάσταση, η οποία εκτιμάται από χαρακτηριστικά εικόνων που αποτελούνται από χάρτες ακμών και ανιχνευμένο χρώμα δέρματος. Σε σχέση με το πρόβλημα της εκτίμησης καταστάσεων ερευνήθηκαν δύο προσεγγίσεις. Στην πρώτη προσέγγιση, ακολουθείται η μεθοδολογία του Stenger [53] και χρησιμοποιείται ένα Unscented Kalman φίλτρο (UKF), που ενημερώνει τις παραμέτρους του μοντέλου με βάση την τοπική φωτεινότητα της εικόνας αλλά και τις ακμές που αντιστοιχούν στο χρώμα του δέρματος. Ο αλγόριθμος που προκύπτει είναι σε θέση να παρακολουθεί ομαλή κίνηση ενός χεριού. Ωστόσο, απαιτείται εκ των προτέρων αρχικοποίηση των παραμέτρων του μοντέλου για την πρώτη εικόνα και δεν υπάρχει δυνατότητα εφαρμογής κάποιας εύρωστης στρατηγικής ανάκτησης της τροχιάς σε περίπτωση που αυτή χαθεί. Η δεύτερη προσέγγιση συνδυάζει ιδέες από τα γραφικά μοντέλα (graphical models) και τα φίλτρα σωματιδίων (particle filters) για την παρακολούθηση βασισμένη στον αλγόριθμο μη παραμετρικής διάδοσης πεποιθήσεων (Nonparametric Belief Propagation, NBP) [59]. Χρησιμοποιώντας μεθόδους Monte Carlo, εφαρμόζεται μια γενική μεθοδολογία προκειμένου να ενημερωθούν αναδρομικά, προσεγγίσεις συνεχών συναρτήσεων πυκνότητας πιθανότητας βασισμένες σε φίλτρα σωματιδίων (particle-based filters). Ένα γραφικό μοντέλο (graphical model) περιγράφει την 3Δ δομή, την κινηματική και την δυναμική του χεριού. Ο εν λόγω γράφος κωδικοποιεί την γενική διάταξη του χεριού μέσω της 3Δ θέσης και του προσανατολισμού των άκαμπτων τμημάτων του μοντέλου, και ως εκ τούτου εκφράζει την τοπική δομή σε ένα αρθρωτό μοντέλο πολλών μεταβλητών. Επίσης, ο NBP επεκτείνεται με τη χρήση του αλγόριθμου mean shift [21] για την επιτάχυνση της επίδοσης της διαδικασίας παρακολούθησης. Η εφαρμογή του αλγορίθμου NBP επιτρέπει την ανάκτηση της διάταξης του χεριού με εύρωστο τρόπο, παρά την παρουσία θορύβου και τοπικών οπτικών αμφισημιών. Οι δύο προσεγγίσεις παρακολούθησης που αναπτύχθηκαν, εφαρμόστηκαν σε ακολουθίες εικόνων οι οποίες απεικονίζουν στερεή κίνηση ενός χεριού, δεικτικές χειρονομίες (pointing gestures) και χέρια που λαμβάνουν μέρος σε δραστηριότητες λάβης κάποιου αντικειμένου. (EL)
This work aims to the automatic recovery of the 3D structure and the motion of a human hand from image sequences acquired by a single camera. A 3D geometric model of a hand is constructed using truncated cones, cylinders and ellipsoids. The 2D projection of the model is efficiently generated using tools from projective geometry. Hand tracking is then formulated as a state estimation problem. Hand model parameters define the internal state which is to be estimated from image observations consisting of edge maps and detected skin color. Two approaches to the state estimation problem have been investigated. In the first approach, an unscented Kalman Filter (UKF) is used, following Stenger's approach [53], to update the model's pose based on local intensity edges and skin color. The resulting algorithm is capable of tracking smooth hand motion. However, manual initialization of the parameters of the hand model is required at the first frame, and no robust recovery strategy can be applied when track is lost. The second approach combines ideas from graphical models and particle filters to perform tracking based on nonparametric belief propagation (NBP) [59]. Using Monte Carlo methods, a general methodology is employed to recursively update particle-based approximations of continuous probability density functions. A graphical model describes the hand's 3D structure, kinematics and dynamics. The graph encodes hand pose via the 3D position and orientation of several rigid components, and thus provides local structure information in a global high-dimensional articulated model. Furthermore, NBP has been extended by embedding the mean shift mode detection algorithm [21] to accelerate the performance of the tracking process. The application of the NBP algorithm can recover the hand configuration robustly in the presence of outliers and local visual ambiguities. Both developed tracking approaches are tested on several image sequences that depict rigid hand motion, pointing gestures and human hands engaged in object grasping activities. (EN)

text
Τύπος Εργασίας--Μεταπτυχιακές εργασίες ειδίκευσης

Πανεπιστήμιο Κρήτης (EL)
University of Crete (EN)

Αγγλική γλώσσα

2009-07-03


Σχολή/Τμήμα--Σχολή Θετικών και Τεχνολογικών Επιστημών--Τμήμα Επιστήμης Υπολογιστών--Μεταπτυχιακές εργασίες ειδίκευσης



*Η εύρυθμη και αδιάλειπτη λειτουργία των διαδικτυακών διευθύνσεων των συλλογών (ψηφιακό αρχείο, καρτέλα τεκμηρίου στο αποθετήριο) είναι αποκλειστική ευθύνη των αντίστοιχων Φορέων περιεχομένου.