Στις εφαρμογές εικονικής πραγματικότητας, η αναπαραγωγή τρισδιάστατων εικονικών ηχητικών πηγών αποτελεί σημαντικό στοιχείο για την βέλτιστη εμπειρία του χρήστη. Τα περισσότερα από τα συστήματα αναπαραγωγής τρισδιάστατου ήχου με δύο ηχεία συχνά έχουν περιορισμένο και σταθερό βέλτιστο σημείο ακουστικής εμπειρίας (sweet spot) για το χρήστη (ώστε να είναι σε θέση να αντιληφθεί πλήρως τα τρισδιάστατα εφέ), με αποτέλεσμα να πάσχουν από κακή απόδοση, σε αντηχητικά περιβάλλοντα.
Στη παρούσα εργασία επικεντρωνόμαστε στην αναπαραγωγή τρισδιάστατου ήχου με 2 ηχεία, λαμβάνοντας υπόψη τη θέση του χρήστη. Συγκεκριμένα, υλοποιήσαμε ένα σύστημα αναπαραγωγής τρισδιάστατου ήχου με 2 ηχεία το οποίο είναι σχεδιασμένο ώστε να προσαρμόζει το βέλτιστο σημείο ακουστικής εμπειρίας στη θέση του ακροατή σε πραγματικό χρόνο. Το σύστημα αυτό αποτελείται από μία κάμερα που επικοινωνεί με έναν τρισδιάστατο ανιχνευτή κεφαλιού, ικανό να παρέχει πληροφορίες σχετικά με τη θέση και τον προσανατολισμό του κεφαλιού του ακροατή. Με δεδομένες τις πληροφορίες αυτές, πραγματοποιούνται οι απαραίτητοι γεωμετρικοί υπολογισμοί για τον προσδιορισμό του βέλτιστου σημείου ακουστικής εμπειρίας. Το σύστημα αυτό έχει την ικανότητα να τοποθετήσει την εικονική πηγή στις κατάλληλες αζιμούθιες γωνίες και γωνίες ανύψωσης γύρω από το κεφάλι του ακροατή. Επιπρόσθετα, το σύστημα περιλαμβάνει μοντελοποίηση του δωματίου όπου βρίσκεται ο χρήστης, από την οποία αποκτούμε πληροφορίες σχετικές με την εκτίμηση των κύριων ανακλάσεων, τις οποίες ενσωματώνουμε στη συνέχεια στον υπολογισμό των φίλτρων κρουστικής απόκρισης δωματίου.
Για να αξιολογήσουμε την απόδοση του συστήματος πραγματοποιήσαμε ακουστικές δοκιμές. Από τις ακουστικές δοκιμές επιβεβαιώνεται ο αρχικός σκοπός της μελέτης, ότι το σύστημα αναπαραγωγής τρισδιάστατου ήχου βελτιώνει σημαντικά την αντίληψη και την ικανότητα του χρήστη για τον εντοπισμό της εικονικής πηγής.
(EL)
In virtual reality applications, rendering virtual sound sources in three dimensions is an important element for optimal user experience. Most of the three-dimensional sound systems with two loudspeakers often have a limited and fixed optimal listening experience point (sweet spot) for the user (in order for him/her to be able to fully understand the three-dimensional effect), thereby suffering from poor performance in reverberant environments.
In this thesis, we focus on three-dimensional audio reproduction with two loudspeakers, taking into account the user's location. Specifically, we developed a three-dimensional sound system with two loudspeakers which is designed to accommodate for adapting the sweet spot in real-time according to the position of the listener. This system consists of a camera that communicates with a three-dimensional head tracker, capable of providing information on the position and orientation of the head of the listener. Given this information, the system makes the necessary geometric calculations to determine the optimal filters for 3D sound reproduction. The system has the ability to place the virtual source in appropriate azimuth and elevation angles around the head of the listener. Additionally, the system includes modeling of the room where the user is located, from which we obtain information relevant to the assessment of the main reflections, which are then integrated in the calculation of the optimal filter calculations.
To evaluate the system performance, we performed listening tests and simulations. The results confirm that the three-dimensional sound system significantly improves the perception and the user's ability to identify the virtual source position.
(EN)
