H οπτική παρακολούθηση και η τμηματοποίηση ενός αντικειμένου σε μια ακολουθία εικόνων αποτελούν σημαντικά προβλήματα της υπολογιστικής όρασης που σχετίζονται στενά μεταξύ τους. Ένα αντικείμενο το οποίο έχει τμηματοποιηθεί μπορεί εύκολα να παρακολουθηθεί. Ταυτόχρονα, η παρακολούθηση του αντικειμένου παρέχει σημαντική πληροφορία για την τμηματοποίησή του. Η σύνδεση μεταξύ των δύο αυτών προβλημάτων αποτελεί μία ενεργή ερευνητική περιοχή καθώς πέρα από το θεωρητικό της ενδιαφέρον, μπορεί να οδηγήσει σε εύρωστες λύσεις σε μεγάλο αριθμό σημαντικών εφαρμογών όπως η αναγνώριση και η εκτίμηση θέσης αντικειμένων, η αναγνώριση δραστηριοτήτων από βίντεο, η οπτική επόπτευση χώρων, η αλληλεπίδραση ανθρώπου με υπολογιστή ή ρομποτικό σύστημα κ.α.
Στην εργασία αυτή περιγράφεται μια νέα μέθοδος συνδυασμένης οπτικής παρακολούθησης και τμηματοποίησης ενός αντικειμένου σε ακολουθία εικόνων που έχουν ληφθεί από μια ενδεχομένως κινούμενη βιντεοκάμερα. Θεωρείται πως η μοναδική γνώση για το προς παρακολούθηση αντικείμενο είναι μια δυαδική εικόνα-μάσκα που παρέχει μια περιγραφή του περιγράμματός του στην πρώτη εικόνα της ακολουθίας. Προτείνεται μια μεθοδολογία βασισμένη στην αλληλεπίδραση μεταξύ ενός αλγορίθμου Μεγιστοποίησης Προσδοκίας (Expectation Maximization - ΕΜ) για την παρακολούθηση αντικειμένου με βάση την χρωματική πληροφορία και μιας μεθόδου για τμηματοποίηση βασισμένη στη θεωρία των Τυχαίων Περιπάτων σε γράφους (Random Walks). Το αποτέλεσμα της τμηματοποίησης της εικόνας την προηγούμενη χρονική στιγμή οδηγεί στον ορισμό μίας έλλειψης που περιγράφει την θέση και την έκταση του αντικειμένου. Ο αλγόριθμος παρακολούθησης αρχικοποιείται με αυτή την έλλειψη και με την εφαρμογή μιας επαναληπτικής διαδικασίας Μεγιστοποίησης Προσδοκίας (ΕΜ) παράγει μια νέα έλλειψη που αποτελεί πρόβλεψη για τη θέση και έκταση του αντικειμένου την παρούσα χρονική στιγμή. Με βάση τις δύο αυτές ελλείψεις υπολογίζεται ένας δισδιάστατος αφινικός μετασχηματισμός που επιτρέπει την πρόβλεψη του σχήματος του αντικειμένου στην τρέχουσα εικόνα. Γύρω απο αυτή την πρόβλεψη σχήματος, ορίζεται μια περιοχή αβεβαιότητας εντός της οποίας μπορεί να προσδιοριστεί το ακριβές περίγραμμα του αντικειμένου για την τρέχουσα χρονική στιγμή. Αυτό επιτυγχάνεται με την εφαρμογή του αλγορίθμου τμηματοποίησης στην περιοχή αβεβαιότητας, που βασίζεται στην Μπεϋζιανή σύνθεση χαρακτηριστικών, όπως η θέση και το χρώμα κάθε σημείου της εικόνας στην περιοχή αβεβαιότητας.
Η προτεινόμενη μέθοδος συνδυάζει την παρακολούθηση και την τμηματοποίηση ενός αντικειμένου χωρίς να απαιτεί εκπαίδευση ή προηγούμενη γνώση για το αντικείμενο ενδιαφέροντος και το περιεχόμενο της σκηνής στην οποία αυτό εμπεριέχεται. Όπως επιβεβαιώνεται από την ποιοτική και την ποσοτική πειραματική αξιολόγησή της, η προτεινόμενη μεθοδολογία μειώνει το σφάλμα παρακολούθησης ενός αντικειμένου και βελτιώνει την ακρίβεια της τμηματοποίησής του. Επιπρόσθετα, η μεθοδολογία λειτουργεί αποτελεσματικά για αντικείμενα των οποίων το σχήμα και η εμφάνιση μεταβάλλεται σημαντικά κατά τη διάρκεια της πιθανόν πολύπλοκης κίνησής τους σε συνθήκες μεταβαλλόμενου φωτισμού.
(EL)
The vision-based tracking and the segmentation of an object of interest in an image sequence are two challenging, tightly coupled computer vision problems. By solving the segmentation problem, a solution to the tracking problem can be obtained, while tracking may provide important input to segmentation. The coupling between these two problems is an active research topic because, besides its theoretic interest, it may lead to robust solutions in a number of important applications including object localization and recognition, vision-based automated surveillance, activity recognition, human-computer/robot interaction, etc.
In this work we propose a new method for integrated tracking and segmentation of a single non-rigid object in a monocular video, captured by a possibly moving camera. It is assumed that a binary mask is available for the initial frame of an image sequence, fully or partially indicating the previously unseen object of interest that is to be segmented and tracked throughout that image sequence. A closed-loop interaction between Expectation Maximization (EM) color-based tracking and Random Walker-based image segmentation is proposed. The tracking algorithm represents the position and the area of the object in the form of an ellipse in each frame of the image sequence. At each frame, a finely segmented object mask is available from the segmentation performed at the previous frame. The spatial position and variance of the object mask are utilized to initialize the ellipse of the tracking algorithm for the current frame. Through EM iterations performed by the tracking method, a new ellipse is computed, estimating the new position and variance of the object in the current frame. The initial and the evolved ellipses are used to estimate a 2D affine transformation that propagates the segmented object shape of the previous frame to the current frame. A shape band is then defined indicating a region of uncertainty where the true object boundaries lie. In the following, pixel-wise spatial and color image cues are fused using Bayesian inference to guide object segmentation. A finely segmented object mask of the target object is finally computed in the current frame using the Random Walker-based segmentation methodology, closing the loop between tracking and segmentation.
The proposed method efficiently tracks and segments previously unseen objects requiring no off-line training or prior knowledge regarding the object of interest and its scene context. As confirmed by both the qualitative and quantitative experimental evaluation carried out on a variety of image sequences, the proposed methodology results in reduced tracking drifts and in fine object segmentation. Additionally, it operates effectively for previously unseen objects of varying appearance and shape that perform complex motions under varying illumination conditions.
(EN)
