Σύμφωνα με τις τελευταίες εξελίξεις στην νευροεπιστήμη, οι τέσσερις μηχανισμοί που
επιδρούν σημαντικά στην ικανότητα μάθησης του εγκεφάλου είναι η προσοχή, η ενεργή συμμετοχή, η ανατροφοδότηση των σφαλμάτων και η εμπέδωση. Κατά συνέπεια, η
ανατροφοδότηση των σφαλμάτων στους εκπαιδευόμενους είναι ένας κρίσιμος μηχανισμός που ενισχύει την αποτελεσματικότητα στη μάθηση. Σε εκπαιδευτικές προσομοιώσεις εικονικής πραγματικότητας η ανατροφοδότηση σφαλμάτων συνηθως υλοποιείται
κατά περίπτωση και χωρίς προκαθορισμένους κανόνες. Ως εκ τούτου, κάθε υλοποίηση
είναι προσαρμοσμένη στις εξειδικευμένες απαιτήσεις μιας συγκεκριμένης προσομοίωσης, χωρίς να υπάρχει ένα τυποποιημένο πλαίσιο ή μία μεθοδολογία, γεγονός που
καθιστά την αποτελεσματικότητα και τη συνέπεια της ανατροφοδότησης σφάλματος
να διαφοροποιείται ευρέως μεταξύ των διαφόρων προγραμμάτων εκπαίδευσης εικονικής
πραγματικότητας.
Στα πλαίσια της παρούσας διατριβής αναπτύχθηκαν αλγόριθμοι ανατροφοδότησης
σφαλμάτων σε μορφή σχεδιαστικών προτύπων λογισμικου εικονικής πραγματικότητας. Κάθε ένα από τα προτεινόμενα πέντε σχεδιαστικά πρότυπα λογισμικού βασίζονται
σε τουλάχιστον μία από τις τρεις ενεργές ανθρώπινες αισθήσεις εντός του εικονικού
κόσμου, την απτική, την οπτική και την ακουστική, με στόχο την απόδοση διαισθητικής και εμβυθιστικής ανατροφοδότησης σφαλμάτων με ακρίβεια. Επιπλέον, η διατριβή
παρουσιάζει μια μεθοδολογία για την καταγραφή σημαντικών αισθητηριακών δεδομένων από τον χρήστη κατά την εσφαλμένη του αλληλεπίδραση, όπως η εστίαση του
βλέμματος, η θέση του χρήστη στον εικονικό κόσμο, και το αντικείμενο με το οποίο
αλληλεπίδρούσε την στιγμή του λανθασμένου χειρισμού.
Μέσω μιας καινοτόμου διεπαφής χρήστη, προσαρμοσμένη σε ένα σύστημα ανάπτυξης
προσομοιώσεων εικονικής πραγματικότητας χωρίς κώδικα, ο δημιουργός του εικονικού
σεναρίου εκπαίδευσης έχει τη δυνατότητα να ρυθμίζει και να οπτικοποιεί τα προαναφερθέντα δεδομένα του χρήστη. Σε αυτό το πλαίσιο, η παρούσα διατριβή παρέχει μια
καινοτόμο μέθοδο οπτικοποίησης της ανατροφοδότησης των σφαλμάτων, βασισμένη
σε νοητικούς χάρτες, στους οποίους συνοψίζονται όλοι οι εσφαλμένοι χειρισμοί του
χρήστη κατά τη διάρκεια της εκτέλεσης της εκπαιδευτικής προσομοίωσης, τα σημεία εστίασης του βλέμματος του, τη θέση του κατά την πρόκληση ενός λανθασμένου
χειρισμού, καθώς και τα σχετικά δεδομένα αλληλεπίδρασης με κάθε διαδραστικό αντικείμενο.
(EL)
According to the latest neuroscientific advances, four human mechanisms are most
prominent in influencing the brain’s learning ability: attention, active engagement,
error feedback, and consolidation. In this context, error feedback is a crucial mechanism that impacts efficiently the learning process. Today, although error feedback
is utilized in many Virtual Reality (VR) training simulations, its implementation
does not follow any standard workflow. VR training simulations are customized
on an ad hoc basis according to specific requirements. This lack of a standardized framework or methodology does not allow the consistent exploitation of error
feedback across diverse VR training simulations.
In this thesis, we present error feedback algorithms specially formulated as VR
software design patterns. Aiming to provide accurate, intuitive, and immersive
feedback to the user, the proposed five VR software design patterns are based on
at least one of the three in-VR human perceptions: haptic, visual, and auditory.
Additionally, this thesis provides a methodology for capturing important sensory
user data at the time of the incorrect interaction, such as eye-gaze fixation, user
position within the virtual world, and the particular interactable object. In this
respect, the author of the VR training simulation is empowered with a novel, nocode UI to set up, configure, and visualize the aforementioned user data. Lastly,
we provide a novel error-feedback mind-map visualization UI that summarizes all
user errors during training, the user’s fixation points on interactable objects, the
user’s position when triggering an error, and all interaction data related to each
interactive object.
(EN)
Πανεπιστήμιο Κρήτης
