Τις τελευταίες δεκαετίες η ανάγκη για την βελτίωση εικόνων χαμηλής ποιότητας, μεγαλώνει με καταιγιστικούς ρυθμούς. Ο στόχος των τεχνικών βελτίωσης ποιότητας εικόνων, είναι να εξάγουν πολύτιμες λεπτομέρειες, οι οποίες μπορούν να χρησιμοποιηθούν για αυτοματοποιημένες εφαρμογές, όπως η τμηματοποίηση και η ανίχνευση. Σε πολλές κατηγορίες εικόνων, όπως για παράδειγμα, σε αστρονομικές εικόνες, σε εικόνες από κάμερες παρακολούθησης, ή σε εικόνες οι οποίες έχουν ληφθεί μέσω της φωτογραφικής μηχανής ενός έξυπνου κινητού τηλεφώνου, η ύπαρξη θορύβου είναι ιδιαίτερα εμφανής, κάτι που καθιστά την βελτίωση εικόνων χαμηλής ποιότητας ιδιαίτερα σημαντική, τόσο από αισθητικής πλευράς, όσο και για την δυνατότητα εξαγωγής χρήσιμης ποιοτικής πληροφορίας.
Η παρούσα εργασία επικεντρώνεται σε δύο συγκεκριμένες εφαρμογές βελτίωσης της ποιότητας των εικόνων. Αρχικά, περιγράφουμε το πρόβλημα της «Ύπέρ-ανάλυσης» και της «Αποσυνέλιξης», ενώ στη συνέχεια επικεντρωνόμαστε στο πρόβλημα της ενίσχυσης εικόνων που έχουν ληφθεί υπό χαμηλές συνθήκες φωτεινότητας. Το σύστημά μας, στηρίζεται στις βασικές αρχές της θεωρίας των αραιών αναπαραστάσεων, όπου η βασική υπόθεση είναι πως οι περιοχές εικόνων χαμηλής ποιότητας, μπορούν να γραφούν ως ένας αραιός γραμμικός συνδυασμός στοιχείων ενός εκπαιδευμένου και υπερπλήρη πίνακα, γνωστός στη βιβλιογραφία ως λεξικό. Οι βέλτιστοι εκτιμώμενοι συντελεστές, επονομαζόμενοι αραιοί κώδικες, προκύπτουν ως λύση ενός προβλήματος βελτιστοποίησης, και χρησιμοποιούνται για την σύνθεση υψηλής ποιότητας εικόνων.
Πιο συγκεκριμένα, στο πρώτο μέρος της εργασίας, όπου μελετάται το πρόβλημα της «Ύπέρ-ανάλυσης» και «Αποσυνέλιξης», εξετάζουμε τη χρήση δύο λεξικών, όπου το πρώτο περιγράφει περιοχές εικόνων υψηλής ανάλυσης (λεξικό υψηλής ανάλυσης), ενώ το δεύτερο περιγράφει θολές και χαμηλής ανάλυσης περιοχές εικόνων (λεξικό χαμηλής ανάλυσης). Το λεξικό υψηλής ανάλυσης, εκπαιδεύεται μέσω μιας συλλογής χαρακτηριστικών περιοχών που έχουν ληφθεί από εικόνες υψηλής ανάλυσης, ενώ το λεξικό χαμηλής ανάλυσης, στηρίζεται σε πρότυπα κανονικών κατανομών με διαφορετικές τιμές διασποράς. Από τον συνδυασμό αυτών των δύο λεξικών προκύπτει ένα κοινό λεξικό, το οποίο χρησιμοποιείται ακολούθως για την αντιμετώπιση του προβλήματος της «Ύπέρ-ανάλυσης» και της «Αποσυνέλιξης». Για να εκτιμήσουμε την απόδοση του προτεινόμενου συστήματος, πραγματοποιήθηκαν τόσο ποσοτικές όσο και ποιοτικές συγκρίσεις. Η ποσοτική σύγκριση επιτυγχάνεται μέσω της μετρικής συσχέτισης ενέργειας σήματος ως προς θόρυβο. Όσο αφορά την αντιμετώπιση του προβλήματος ενίσχυσης εικόνων χαμηλής φωτεινότητας, εξετάζουμε την τεχνική των αραιών αναπαραστάσεων περιοχών της εικόνας που έχουν χαμηλή φωτεινότητα, σε ένα κατάλληλο λεξικό, με σκοπό να υπολογίσουμε τις αντίστοιχες περιοχές εικόνων σε υψηλές συνθήκες φωτεινότητας. Για να εκτιμήσουμε τα ζευγάρια εικόνων υψηλής φωτεινότη¬τας και χαμηλής φωτεινότητας, δημιουργούμε δύο λεξικά. Το πρώτο, αντιστοιχεί σε παραδείγματα που κωδικοποιούν κομμάτια εικόνων υψηλής φωτεινότητας (λεξικό της ημέρας), ενώ το δεύτερο αντιστοιχεί σε παραδείγματα από χαρακτηριστικές περιοχές που έχουν εξαχθεί από εικόνες χαμηλής φωτεινότητας (λεξικό της νύχτας). Για να επιτύχουμε αυτόν τον στόχο, εισάγουμε ένα καινοτόμο σχήμα για την από κοινού δημιουργία των λεξικών, χρησιμοποιώντας το πιθανοτικό μοντέλο των περιορισμένων μηχανών Μπόλτζμαν.
Πειραματικά αποτελέσματα δείχνουν ότι το προτεινόμενο σχήμα είναι ικανό να εκτιμήσει μια εικόνα υψηλής φωτεινότητας, δεδομένης μιας εικόνας χαμηλής φωτεινότητας. Η αποτελεσματικότητα του συστήματός μας αξιολογείται ποσοτικά με συγκρίσεις απέναντι στις πραγματικές εικόνες υψηλής φωτεινότητας, χρησιμοποιώντας ως μετρική τον δομικό δείκτη ομοιότητας, ενώ, η ποιοτική αξιολόγηση επιτυγχάνεται με συγκρίσεις απέναντι σε άλλες μεθόδους ενίσχυσης εικόνων χαμηλής φωτεινότητας.
(EL)
Recently, the demand for the enhancement of low-quality images has grown tremendously. The aim of image enhancement techniques is to improve the visual appearance and simultaneously extract valuable information details that can be used for automated image processing applications, such as segmentation and detection. Many types of images, such as astronomical, surveillance, medical, or even real life images that were captured through a camera, or a cell-phone, suffer from low-resolution, degradation effects, poor illuminated regions, and from the existence of severe noise. As a result, enhancing the quality of low-light, low-quality images, is a critical processing step due to its value from both an aesthetics and an information extraction perspective.
In this thesis, we focus on two specific applications of image enhancement techniques, namely, the Super-Resolution and Deconvolution problem (SR-DC), and the Low Light Image Enhancement problem. In both approaches, we utilize the novel framework of the sparse representations and learned appropriate dictionaries, as a prior knowledge that can efficiently represent the enhanced version of a given degraded scene. In our model, the sparse representation of the low-quality image patches, in an appropriate dictionary is used for the approximation of the high-quality images.
Considering the Super-Resolution and Deconvolution problem, we generate two dictionaries, one for the high resolution image parts (high resolution dictionary), and one for the blurry and low-resolution image parts (blurry kernel dictionary). The high resolution dictionary, is trained through a collection of high resolution patches, using a machine learning approach. In addition, the blurry kernel dictionary is created by Gaussian point spread functions (psf's) with different variances. The combination of the two dictionaries creates a single joint dictionary that can efficiently address the super-resolution and semi-blind deconvolution problem. In order to evaluate the performance of the proposed deconvolution and super-resolution method, we performed a comparison in the terms of Peak Signal to Noise Ratio (PSNR), against the standard Bicubic interpolation approach.
We also considered an extended model for the enhancement of low-illumination scenes. We utilize the sparse representation of low light image patches in an appropriate dictionary to approximate the corresponding day-time images. We consider two dictionaries; a night dictionary for low light conditions and a day dictionary for well illuminated conditions. To approximate the generation of low and high illumination image pairs, we generated the day dictionary from patches taken from well exposed images, while the night dictionary is created by extracting appropriate features from under exposed image patches. Lastly, we introduced, a novel scheme in the joint dictionary training phase, using the probabilistic framework of the Restricted Boltzman Machines networks.
Experimental results suggest that the proposed scheme is able to accurately estimate a well illuminated image given a low-illumination version. The effectiveness of our system is evaluated by comparisons against ground truth images, in terms of the Structural Similarity Index (SSIM). When compared to other methods for image night context enhancement, our system achieves better results both quantitatively as well as qualitatively.
(EN)
