Οι ανθρωπόμορφοι εικονικοί χαρακτήρες είναι οντότητες που μοιάζουν, συμπεριφέρονται και αλληλεπιδρούν σαν άνθρωποι αλλά υπάρχουν σε εικονικά περιβάλλοντα. Έχουν τη δυνατότητα να επικοινωνήσουν με το περιβάλλον, με άλλους χαρακτήρες και με χρήστες χρησιμοποιώντας τόσο λεκτική όσο και μη λεκτική έκφραση. Οι ανθρωπόμορφοι εικονικοί χαρακτήρες μπορούν να χρησιμοποιηθούν για την παροχή βοήθειας, καθοδήγησης, πληροφορίας και πρακτικής εκπαίδευσης σε διάφορους τομείς εφαρμογής όπως η εκπαίδευση, ο πολιτισμός, η υγεία, ο τουρισμός και οι καθημερινές δραστηριότητες. Μπορεί να δρουν είτε συμπληρωματικά είτε ως ο κύριος τρόπος παροχής βοήθειας και μπορούν να ενσωματωθούν σε οποιαδήποτε διαθέσιμη πλατφόρμα ενός έξυπνου περιβάλλοντος, συμπεριλαμβανομένων των προσωπικών υπολογιστών και των φορητών συσκευών. Στο πλαίσιο της Διάχυτης Νοημοσύνης και της Επικοινωνίας Ανθρώπου-Μηχανής, καθιστούν τα συστήματα πιο ανθρωποκεντρικά με την έννοια ότι οι χρήστες έχουν την αίσθηση ότι δεν αλληλεπιδρούν με ένα σύστημα αλλά με έναν άλλο άνθρωπο.
Σε αυτό το πλαίσιο, η παρούσα εργασία αναλύει το σχεδιασμό, την υλοποίηση και την αξιολόγηση ενός πλαισίου εφαρμογών (framework) το οποίο παρέχει έναν μηχανισμό για την δυναμική αποθήκευση και ανάκτηση δεδομένων, υλοποιεί συμπεριφορές μέσω της δημιουργίας χειρονομιών και της χρήσης συνθετικής ομιλίας που μπορούν να χρησιμοποιηθούν για την παροχή πληροφορίας, δημιουργεί διαδραστικές απεικονίσεις πολυμεσικής πληροφορίας και επικοινωνεί μέσω πολυτροπικών μορφών αλληλεπίδρασης. Η αλληλεπίδραση περιλαμβάνει επικοινωνία ανάμεσα σε χρήστη και εικονική οντότητα, περιβάλλον και εικονική οντότητα καθώς και ανάμεσα σε εικονικές οντότητες. Το πλαίσιο εφαρμογών υποστηρίζει διαφορετικούς ρόλους για τους εικονικούς χαρακτήρες, οι οποίοι μπορούν να έχουν το ρόλο του βοηθού σε υπάρχοντα συστήματα, ξεχωριστές εφαρμογές ή ως βασικό κομμάτι σε έξυπνα περιβάλλοντα.
Ως βοηθητικά συστήματα, οι εικονικοί χαρακτήρες έχουν τη δυνατότητα να βοηθήσουν τη διαδικασία εκμάθησης της αλληλεπίδρασης με ένα σύστημα καθώς και να προσφέρουν δομημένη πληροφορία που μπορεί να βοηθήσει το χρήστη να αποκτήσει μία γενική εικόνα της λειτουργίας ενός συστήματος και των δυνατοτήτων του. Η πληροφορία που παρέχεται μπορεί να είναι εικόνες, κείμενο, ήχος, βίντεο και τρισδιάστατα μοντέλα, όπως και συνθετική ομιλία και κινήσεις του σώματος. Επιπλέον, τα συστήματα μπορούν να παρέχουν αλληλεπιδραστική βοήθεια σε πραγματικό χρόνο. Ως ξεχωριστές εφαρμογές, οι ανθρωπόμορφοι εικονικοί χαρακτήρες μπορούν να παρέχουν δομημένη πληροφορία και αλληλεπιδραστική βοήθεια σχετικά με τις τεχνικές αλληλεπίδρασης τις οποίες μπορούν να χρησιμοποιήσουν οι χρήστες για να χειριστούν αυτές τις εφαρμογές. Ως μέρος ενός έξυπνου περιβάλλοντος μπορούν να έχουν και τις δύο προαναφερθείσες λειτουργικότητες, τόσο ανεξάρτητα όσο και συνδυαστικά, ενώ επίσης μπορούν να επικοινωνούν με το περιβάλλον (χρήστες και άλλα συστήματα).
Το πλαίσιο εφαρμογών που αναπτύχθηκε είναι σχεδιασμένο ώστε να υποστηρίζει πολλαπλές πολυτροπικές τεχνικές αλληλεπίδρασης, οι οποίες μπορούν να χρησιμοποιηθούν ακόμα και συνδυαστικά, έτσι ώστε να προσφέρουν φυσική αλληλεπίδραση σε ένα ευρύ φάσμα εγκαταστάσεων. Εκτός από τους τρόπους αλληλεπίδρασης που βασίζονται σε επιτραπέζια συστήματα (όπως το ποντίκι και η οθόνη αφής), εναλλακτικές προσεγγίσεις μελετήθηκαν και υλοποιήθηκαν στοχεύοντας συγκεκριμένα στην πλοήγηση και το χειρισμό τρισδιάστατων περιβαλλόντων. Οι χρήστες μπορούν να επικοινωνήσουν με το σύστημα μέσω χειρονομιών χρησιμοποιώντας δηλαδή τα χέρια τους αλλά και με τη φωνή τους ώστε να μπορούν να αλληλεπιδράσουν λεκτικά με το σύστημα. Τέλος, οι χρήστες μπορούν να χρησιμοποιήσουν χειρονομίες μέσω φορητών συσκευών, προκειμένου να χειριστούν την πληροφορία που εμφανίζεται.
Μια μελέτη αξιολόγησης πραγματοποιήθηκε με τη συμμετοχή 10 ατόμων για να αξιολογήσει το σύστημα που αναπτύχθηκε ως προς τη ευχρηστία και την αποτελεσματικότητα όταν χρησιμοποιείται ως μηχανισμός βοήθειας για μια άλλη εφαρμογή. Τα αποτελέσματα της αξιολόγησης ήταν ιδιαίτερα θετικά και ελπιδοφόρα, επιβεβαιώνοντας τη χρηστικότητα του συστήματος και την ενθάρρυνση για περαιτέρω έρευνα σε αυτόν τον τομέα.
(EL)
Virtual humans are embodied agents that look like, act like, and interact with humans but exist in virtual environments. They have the ability to communicate with the environment, as well as with other agents and users using both verbal and non-verbal means. Virtual Humans can be used to provide assistance, guidance, information and training in various application domains including education, cultural heritage, healthcare, tourism and everyday life activities. They may act either complimentary or as the primary means for information provision and can be instantiated in any available platform of the smart environment, also including personal computers and mobile devices. In the context of Ambient Intelligence and Human-Computer Interaction, they are a metaphor that makes systems more anthropocentric, in the sense that users have the impression that they interact with other humans rather than a computer system.
This thesis reports on the design, the development and the evaluation of a framework which provides a dynamic data modeling mechanism for storage and retrieval, implements virtual humans behaviors by creating body gestures and speech synthesis that can be used for information provision, creates interactive multimedia information visualizations (e.g. images, text, audio, videos, 3D models) and implements communication through multimodal interaction techniques. The interaction may involve human to agent, agent to environment or agent to agent communication. The framework supports alternative roles for the virtual agents who may act as assistants for existing systems, standalone “applications” or even as integral parts of emerging smart environments.
As assisting mechanisms (i.e., help systems), agents are able to aid users in learning to interact with a system, as well as to offer structured information which may help the users acquire an overall understanding of how a system works and what can be expected of it. This information can be presented through images, videos, text, audio, and three dimensional objects, as well as synthesized speech and body movements. Additionally, systems can take advantage of the agent in order to provide their users with real time interactive assistance. As a standalone “application”, structured information and interactive help about the interaction techniques are presented through the virtual humans. As a component of a smart environment, the virtual humans are able to perform both of the above functionalities in combination and separately, while also communicating with the environment and its participants (users and other systems).
The developed framework supports multiple multimodal interaction techniques, even in combination, so as to offer natural interaction in a wide range of hardware set-ups employing various output and input devices. Apart from the traditional desktop interaction techniques such as mouse and touch screens, additional approaches, specifically directed to navigation and manipulation in 3D virtual environments, were studied and implemented. Users can communicate with the system through gestures, using, that is, their bare hands to interact with items. Furthermore, users can use their voice for verbal interaction with the system and finally, users can apply gestures through mobile devices in order to manipulate the visualized information.
An evaluation study was conducted with the participation of 10 people to study the developed system in terms of usability and effectiveness, when it is employed as an assisting mechanism for another application. The evaluation results were highly positive and promising, confirming the system’s usability and encouraging further research in this area.
(EN)
