Οι εφαρμογές Επαυξημένης Πραγματικότητας (Augmented Reality - AR) και ιδιαίτερα οι εφαρμογές Μικτής Πραγματικότητας (Mixed Reality - MR) έχουν σημειώσει ραγδαία ανάπτυξη τα τελευταία χρόνια μεταξύ ερευνητών, προγραμματιστών, επιχειρήσεων και καταναλωτών. Με νέες συσκευές και εξαρτήματα MR να κυκλοφορούν στην αγορά με συνεχώς αυξανόμενο ρυθμό, όπως τα HoloLens, Magic Leap, Varjo, αλλά και τις επερχόμενες συσκευές των εταιριών Meta και Apple, ο τομέας AR/MR αναμένεται να φέρει μια νέα επανάσταση στον τομέα της Πληροφορικής. Καθώς η περιοχή αυτή ωριμάζει, έχει σταδιακά δημιουργηθεί η επιτακτική ανάγκη για την αξιολόγηση τέτοιων εφαρμογών. Παρόλο που πολλές προσεγγίσεις έχουν ασχοληθεί με τις προκλήσεις που συνδέονται με την αξιολόγηση εφαρμογών AR/MR, με ορισμένες μάλιστα να χρησιμοποιούν αυτές τις τεχνολογίες ως μεθόδους αξιολόγησης, λίγες μόνο προσπάθειες έχουν γίνει για τη δημιουργία εργαλείων που υποστηρίζουν τη συνολική διαδικασία αξιολόγησής τους.
Για το σκοπό αυτό, η παρούσα εργασία στοχεύει να συμβάλει στην αντιμετώπιση αυτού του κενού, προτείνοντας το ‘ARgus Designer System’, στόχος του οποίου είναι να βοηθήσει τους αξιολογητές (evaluators) στην εκτέλεση μελετών με τελικούς χρήστες (user studies) για την αξιολόγηση της ευχρηστίας και της εμπειρίας χρήστη (User Experience - UX) των εφαρμογών AR/MR. Το προτεινόμενο εργαλείο αξιολόγησης ενισχύει σε πραγματικό χρόνο την διαθέσιμη πληροφορία μέσω πλήθους μετρήσεων και λειτουργιών, κατά τη διάρκεια διεξαγωγής μελετών με τελικούς χρήστες, μέσω μιας φορετής συσκευής MR (συγκεκριμένα το HoloLens 2), διευκολύνοντας κατά αυτόν τον τρόπο τη διαδικασία της αξιολόγησης. Εστιάζοντας κυρίως στον τομέα της δημιουργίας πρωτοτύπων (prototypes) για Ευφυή Περιβάλλοντα (Intelligent Environments - IEs), η πρώτη εφαρμογή του εν λόγω συστήματος επαυξάνει το περιβάλλον του χρήστη με την τοποθέτηση εικονικών διαδραστικών τεχνουργημάτων (artifacts), 3D αντικειμένων και ψηφιακών διεπαφών χρήστη (User Interfaces - UIs) μέσα στο πραγματικό περιβάλλον. Συγκεκριμένα, το σύστημα ‘ARgus Designer’ επιτρέπει στους χρήστες του να δημιουργήσουν το δικό τους τεχνολογικά επαυξημένο πείραμα, τοποθετώντας τα ψηφιακά αντικείμενα που επιθυμούν στον MR κόσμο. Οι χρήστες μπορούν επιπλέον να επιλέξουν τις μετρήσεις και τις λειτουργίες που θέλουν να συμπεριλάβουν στο περιβάλλον μικτής πραγματικότητας κατά τη διάρκεια της διαδικασίας αξιολόγησης. Επιπλέον, το προτεινόμενο εργαλείο αξιολόγησης μπορεί να υποστηρίξει πολλαπλούς χρήστες και να διευκολύνει τη συνεργασία τους, επιτρέποντας στους ειδικούς να διεξάγουν αξιολογήσεις πλήρους εμβύθισης (immersed) στον χώρο μικτής πραγματικότητας.
Κατά τη διάρκεια της εκτέλεσης μιας αξιολόγησης, εκτός από τις διάφορες μετρήσεις και τις λειτουργίες που απεικονίζονται στην επαυξημένη πραγματικότητα, οι εμπειρογνώμονες - αξιολογητές έχουν πρόσβαση σε έναν εικονικό σταθμό εργασίας (workstation), που ονομάζεται ‘ARgus Workstation’, μέσω του οποίου μπορούν να ελέγχουν τη ροή του πειράματος και να συλλέγουν διάφορες μετρήσεις (π.χ. δείκτες απόδοσης, γεγονότα ενδιαφέροντος). Ένα άλλο αξιοσημείωτο χαρακτηριστικό του συστήματος είναι η ενσωμάτωση εικονικών ερωτηματολογίων (virtual questionnaires), τα οποία όχι μόνο ενισχύουν την εποπτεία των εμπειρογνωμόνων, αλλά επιπλέον ελαχιστοποιούν τα ‘breaks in presence’ της εμβυθιστικής εμπειρίας (immersive experience).
(EL)
Augmented Reality (AR) and especially Mixed Reality (MR) applications have gained momentum over the past couple of years among researchers, developers, enterprises and consumers. With new MR devices and accessories being released in the market at a constantly increasing pace, from HoloLens, Magic Leap and Varjo, to the upcoming Meta and Apple devices, the AR/MR field is set to revolutionize computing. As this field matures, it has progressively cultivated an imperative need for evaluating such applications. Even though many approaches have addressed the challenges of evaluating AR/MR applications, with some even using these technologies as evaluation methods, only a few attempts have been made in creating tools to support their overall evaluation process.
To this end, this Thesis aims to contribute filling this gap by proposing the ‘ARgus Designer System’ whose objective is to assist evaluators in conducting user studies for assessing the usability and User Experience (UX) of AR/MR applications. In the proposed evaluation tool, the information provided to experts' is enhanced in real-time during testing with various metrics and features, while wearing an MR device (specifically the HoloLens 2), in an effort to facilitate the evaluation process. Focusing primarily on the domain of prototyping for Intelligent Environments (IEs), the first instantiation of the envisioned system augments the user’s surroundings by overlaying virtual interactive artifacts, 3D objects and digital user interfaces (UIs) on top of the real-world environment. In particular, the ‘ARgus Designer’ system enables users to create their own virtual experiment scene, by placing the desired digital objects into the MR world. Users can additionally select the metrics and features they want to include in the mixed-reality environment during the evaluation process. Moreover, the suggested evaluation tool supports multiple users and facilitates multi-user collaboration, enabling experts to conduct user-based studies completely immersed into the Mixed Reality space.
At runtime, apart from the different metrics and features being visualized in AR, evaluators have access to a virtual workstation, called the ‘ARgus Workstation’, through which they can control the flow of the experiment and collect various runtime measures and data (e.g. performance indicators, events of interest). Another noteworthy feature of the system is the inclusion of virtual questionnaires, which not only enhance experts’ supervision, but most importantly minimize the “breaks in presence” of the immersive experience.
Finally, the introduced tool is envisioned to help with post-study analysis, permitting experts to overview raw data and replay an evaluation experiment into the MR world. Through all the aforementioned processes, the ‘ARgus Designer’ system aims to deliver an all-round efficient approach of conducting user-based evaluation with the help of AR/MR technologies.
In this context, this Thesis presents the ‘ARgus Designer’ system, describes the design process followed and its functionality, elaborates on implementation details and outlines the results of the expert-based evaluation to assess the validity of the concept from an expert’s point-of-view.
(EN)
Πανεπιστήμιο Κρήτης
