Η εκτίμηση της στάσης ενός αρθρωτού αντικειμένου, όπως το ανθρώπινο σώμα, έχει έντονο θεωρητικό ενδιαφέρον και πρακτική χρήση. Σε αυτή την εργασία, μας ενδιαφέρουν κυρίως οι μέθοδοι για εύρωστη και αποδοτική παρακολούθηση του χεριού και η εκτίμηση της στάσης του. Πρόσφατες προσεγγίσεις που βασίζονται σε 3Δ μοντέλα και μεθόδους βελτιστοποίησης έχουν δώσει πολύ υποσχόμενα αποτελέσματα. Η καλύτερη αυτή τη στιγμή σχετική μέθοδος ανακτά την τρισδιάστατη θέση, τον προσανατολισμό και τους 20 βαθμούς ελευθερίας της αρθρωτής κίνησης ενός ανθρώπινου χεριού από μη-επισημειωμένες (markerless) οπτικές παρατηρήσεις χρησιμοποιώντας έναν αισθητήρα RGB-D (χρώμα, βάθος). Σύμφωνα με αυτή την μέθοδο, η οποία αποτελεί μέθοδο αναφοράς για αυτήν την εργασία, η εκτίμηση της στάσης του χεριού διατυπώνεται ως ένα πρόβλημα βελτιστοποίησης όπου αναζητούνται οι παράμετροι ενός 3Δ μοντέλου του χεριού που ελαχιστοποιούν την ασυμφωνία μεταξύ της απεικόνισης υποθετικών στάσεων του χεριού και των πραγματικών παρατηρήσεών του. Η ασυμφωνία μεταξύ παρατηρήσεων και υποθέσεων ποσοτικοποιείται από μια αντικειμενική συνάρτηση που συνδυάζει πολλά χαρακτηριστικά που υπολογίζονται από τις εικόνες. Ο σχεδιασμός αυτής της συνάρτησης έχει ύψιστη σημασία για την διαδικασία βελτιστοποίησης, καθώς η ποιότητα των τελικών αποτελεσμάτων εξαρτάται άμεσα από αυτή. Ταυτόχρονα, ο σχεδιασμός της συνάρτησης είναι μια πολύπλοκη διαδικασία που απαιτεί προηγούμενη εμπειρία με το πρόβλημα και την συνεκτίμηση εμπειρικών δεδομένων που λαμβάνονται μέσω μιας χρονοβόρας επαναληπτικής διαδικασίας.
Ο σκοπός αυτής της εργασίας είναι να ορίσει εργαλεία και διαδικασίες που να αυτοματοποιούν την διατύπωση της αντικειμενικής συνάρτησης σε τέτοια προβλήματα βελτιστοποίησης. Συγκεκριμένα, χρησιμοποιούμε τεχνικές ανάλυσης παλινδρόμησης (regression analysis) για να ορίσουμε την αντικειμενική συνάρτηση αυτόματα, δηλαδή χωρίς να χρειάζεται μεγάλη προηγούμενη εμπειρία στο πρόβλημα. Στην αρχή υπολογίζεται ένα σύνολο από σχετικά και υποψήφια χαρακτηριστικά εικόνας. Στην συνέχεια εφαρμόζουμε ανάλυση παλινδρόμησης πάνω σε δεδομένα με παραδείγματα ώστε να συνδυαστούν τα χαρακτηριστικά σε μία αντικειμενική συνάρτηση η οποία προσπαθεί να μεγιστοποιήσει την απόδοση της βελτιστοποίησης. Τα δεδομένα προέρχονται από ψευδό-τυχαίες στάσεις χεριών όπως και από στάσεις που ανακτήθηκαν από ιστορικό προηγούμενων παρακολουθήσεων.
Εκτενή πειράματα μελετούν την απόδοση την προτεινόμενης μεθόδου βάση διαφορετικών μεθόδων ανάλυσης παλινδρόμησης, στρατηγικών δημιουργίας δεδομένων και τεχνικών επιλογής χαρακτηριστικών. Μια σειρά από διάφορα τεστ έδειξαν ότι η ακρίβεια της βελτιστοποίησης που επιτυγχάνεται με βάση τις παραγόμενες αντικειμενικές συναρτήσεις είναι συγκρίσιμη με αυτή της αντικειμενικής συνάρτησης που όρισαν οι ειδικοί του προβλήματος. Έτσι, η διαδικασία του ορισμού της αντικειμενικής συνάρτησης μπορεί να αυτοματοποιηθεί ως ένα βαθμό. Τέλος, παρουσιάζουμε θέματα ενδεχόμενης μελλοντικής δουλειάς που μπορεί να οδηγήσει τελικά σε μία πλήρως αυτοματοποιημένη μεθοδολογία για τον ορισμό της αντικειμενικής συνάρτησης σε τέτοια προβλήματα.
(EL)
Estimating the configuration and pose of articulated objects such as the human body, has high theoretical interest and practical usage. In this work, we are particularly interested in methods for robust and efficient hand tracking and hand pose estimation. Quite recently, model-based approaches have produced very promising results with respect to these problems. The current state of the art method recovers the 3D position, orientation and 20 DOF articulation of a human hand from markerless visual observations obtained by an RGB-D sensor. According to this method, which is used as a baseline in this work, hand pose estimation is formulated as an optimization problem, seeking for the hand model parameters that minimize the discrepancy between the appearance of hypothesized hand configurations and the actual hand observation. The discrepancy between observations and hypotheses is quantified by an objective function that combines several features. The design of this function is of utmost importance to the optimization process as the quality of the final result depends critically on it. At the same time, the design of this function is a complicated process that requires a lot of prior experience with the problem as well as the integration of empirical evidence that is acquired in a time consuming iterative process.
The goal of this work is to define tools and processes that automate the definition of the objective function in such optimization problems. More specifically, we employed regression analysis techniques to define an objective function automatically, i.e., without requiring considerable prior experience to the problem at hand. First, a set of relevant, candidate image features is computed. Then, given data sets with ground truth information, regression analysis is used to combine features from the original set in an objective function that seeks to maximize optimization performance. Regression analysis was performed on datasets of quasi-random hand pose configurations as well as on hand poses obtained through hand tracking.
Extensive experiments study the performance of the proposed approach based on different regression methods, dataset generation strategies and feature selection techniques. A variety of tests has shown that the optimization results obtained by the derived objective functions are comparable to those obtained by using the objective function defined by problem experts. Thus, the process of objective function definition can be automated to a certain extent. Finally, we present topics of future work that could lead, eventually, to a fully automated methodology for determining the objective function in such problems.
(EN)
