Incorporating cognitive theories on reasoning and memorization in intelligent virtual reality educational games

This item is provided by the institution :

Repository :
National Archive of PhD Theses
see the original item page
in the repository's web site and access all digital files if the item*

PhD thesis (EN)

2011 (EN)
Ενσωμάτωση γνωστικών θεωριών αιτιολόγησης και απομνημόνευσης σε λογισμικό ευφυών εκπαιδευτικών παιχνιδιών εικονικής πραγματικότητας
Incorporating cognitive theories on reasoning and memorization in intelligent virtual reality educational games

Manos, Konstantinos
Μανός, Κωνσταντίνος

The main goal of this thesis was to find a way to enhance the student modeling techniques used by educational software. To accomplish this task a set of necessary tools was created which would provide the base for a test environment and an evaluation platform.These tools included an Intelligent Tutoring System (ITS) masked as a Virtual Reality Game called VR-Engage and an authoring tool for that system called VR-Integate.In VR-Engage the student was asked to explore 4 different virtual worlds in a quest to find the lost pages from the Book of Wisdom (Virvou et al, 2002). Each virtual world is linked to a different knowledge domain (Mathematics, Geography, Grammar and Spelling). In order to accomplish this task the student had to find his/her way out of 4 labyrinths by opening doors guarded by virtual dragons. To open each door the student had to answer a domain-specific question.In the process of creating VR-Engage it became apparent that an easy way was needed to be able to change the domain specific information/data of the game. The final goal was for teachers to be able to “feed” the virtual worlds with domain theory and questions, and to be able to customize the student’s experience, tailoring it to their respected needs. At that point VR-Integate was created (Virvou et all, 2002). VR-Integate started as plain authoring tool for the VR-Engage platform. The teacher could use it and easily generate/update/delete all the domain content for each of the different virtual worlds.The next step was to upgrade the system to be able to track the student’s performance in various different sectors. For that, different modules were created which helped generate the student’s educational model inside the virtual environment. These modules were able to track the quality of the student’s answers in various questions s/he faced, the difficulty s/he might had to navigate through the virtual environment (Virvou et all, 2002), and even measure how focused on the game a student was.By applying these techniques, a robust educational platform has been created. The final platform via the use of the authoring tools was flexible, dynamic and easily adaptable to fit the needs of any teacher. The resulting tools were extremely easy to learn how to use, requiring only minimum effort from the teacher.During the evaluation process of the VR-Engage platform, a serious problem appeared. Whenever a teacher was creating a new domain-specific world, s/he had to test its effectiveness by letting the students play it. There was no way to have any kind of evaluation information in advance and before releasing the lesson to the students. The solution to this problem came from the Cognitive Psychology sector.Based on the initial research conducted by Ebbinghaus (1998), the student model was enhanced by extending the system to be able to track the memory retention capabilities of the students.Using this new module, the creation of Virtual Agents that could actually “play” the game, simulating different students (depending on the profile they were using) was made possible. By feeding the agents with different student profiles, the virtual world created by the teacher could be evaluated before it was released to the classroom. By using the memory retention module, the virtual agents could report the possible amount of information each student could retain after the end of the game, giving the teacher the opportunity to readjust the domain-specific questions and theory so that s/he could achieve the desired outcome.Furthermore, the use of the virtual agents was extended even more. Instead of using the agents only as a “pre”-evaluation process, they were integrated inside the VR-Engage platform for real time tracking and reporting. While the student was interacting with the environment, all information was fed to the virtual agent. The agent then, using the specific student’s profile, could generate reports on what the student is supposed to have assimilated and what s/he has forgotten. Using this information the system could then on-the-fly readjust the virtual world so that the student would be forced to repeat parts of the lesson that the agent reported as “forgotten”.With those two different applications of the extended memory retention formula, it was made possible to create, for the first time, such a development process for an educational game that not only it was pre-evaluated before being released to the classroom, but the final ITS had also the ability to track in real-time the effectiveness of the lesson and the student’s performance.
Ο κύριος σκοπός αυτής της διπλωματικής είναι να εξελίξουμε της τεχνικές μοντελοποίησης μαθητών που χρησιμοποιούνται από εκπαιδευτικό λογισμικό. Για να το πετύχουμε αυτό χρειαστηκε να υλοποιουθούν ένα σετ από διάφορα εργαλεία τα οποία με την σειρά τους αποτέλεσαν την βάση για το περιβάλλον ανάπτυξης και αξιολόγησης. Αυτά τα εργαλεία αποτελούνται από ένα Intelligent Tutoring System (ITS) το οποίο κρύφτηκε κάτω από ένα παιχνίδι εικονικής πραγματικότηταςμε το όνομα VR-Engage και ένα εργαλείο διαχείρισης (authoring tool) αυτής της πλατφόρμας με το όνομα VR-Integate.Μέσα στον VR-Engage ο μαθητής καλείται να εξερευνήσει 4 διαφορετικούς εικονικούς κόσμους στην προσπάθειά του να μαζέψει όλες τις χαμένες σελίδες από το Βιβλίο της Γνώσης. Ο κάθε κόσμος σχετίζεται με κάποιο διαφορετικό γνωστικό αντικείμενο (Μαθηματικά, Γεωγραφία, Γραμματική και Ορθογραφία). Για να βρει όλες τις σελίδες ο μαθητής πρέπει να περιηγηθεί σε λαβυρίνθους, να αντιμετωπίσει εικονικούς δράκους και να ανοίξει κλειδωμένες πόρτες απατώντας σε γρίφους που σχετίζονται με το αντίστοιχο γνωστικό πεδίο.Καθώς ο μαθητής "παίζει" το παιχνίδι, το σύστημα παρακολουθεί και καταγράφει όλες τις κινήσεις του και προσπαθεί να μεταβάλει το εικονικό περιβάλλον ώστε να κάνει την εμπειρία όσο το δυνατόν πιο ευχάριστη, εύκολα αλλά και αποδοτική. Με την χρήση του VR-Integate ο καθηγητής μπορούσε να σχεδιάσει τον δικό του κόσμο, να βάλει τους δικούς του γρίφους και να παρακολουθήσει την απόδοση των μαθητών. Σε αυτό το σημείο εμφανίστηκε η επιτακτική ανάγκη να μπορεί ο καθηγητής να "ελέγξει" την ποιότητα του "μαθήματος" πριν το δώσει στους μαθητές. Την λύση σε αυτό το σημείο την έδωσε η Γνωστική Ψυχολογία.Βασιζόμενοι σε μία αρχική έρευνα του Ebbinghaus (1998), επεκτήναμε το μαθητικό μοντέλο δίνοντας την δυνατότητα στο σύστημα να αξιολογεί και να παρακολουθεί την ικανότητα απομνημόνευσης τους μαθητή.Χρησιμοποιώντας αυτό το νέο μοντέλο, μπορέσαμε να κατασκευάσουμε εικονικούς πράκτορες οι οποίοι έπαιζαν το παιχνίδι από μόνοι τους βασιζόμενοι επάνω σε μαθητικά μοντέλα που αντιστοιχούν σε διαφορετικά προφιλ μαθητών. Με την χρήση αυτών των πρακτόρων, ο καθηγητής μπορούσε πια να αξιολογήσει το εικονικό "μάθημα" και να πάρει στατιστικά για το ποσο αποδοτικό είναι και πόσο εύκολο είναι να μάθουν οι μαθητές τα διάφορα γνωστικά αντικείμενα που εκείνος επιλέγει. Επί προσθέτως μπορούσε να κάνει όσες αλλαγές απαιτούνται για να μεγιστοποιήσει την απόδοση του μαθήματος.Προχωρόντας την χρήση του μοντέλου ένα βήμα παραπάνω, το ενσωματώσαμε στον VR-Engage για να μας ενημερώνει σε πραγματικό χρόνο για την απόδοση του μαθητή. Καθώς ο μαθητής κινείται στο εικονικό περιβάλλον, όλα τα δεδομένα τροφοδοτούνται στον εικονικό πράκτορα. Στην συνέχεια αυτός, χρησιμοποιώντας το προσωπικό μαθητικό προφίλ του χρήστη, μπορούσε να ενημερώσει το σύστημα σε πραγματικό χρόνο για την απόδοση του μαθητή στους διάφορους γρίφους. Με αυτή την πληροφορία το σύστημα αν έβλεπε ότι κάποια γνωστικά αντικείμενα ο μαθητής δεν τα μάθαινε, μετέβαλε τον εικονικό κόσμο με στόχο την επανάληψη αυτών και την μεγιστοποίηση της απόδοσης του μαθήματος.Με τις δύο αυτές διαφορετικές χρήσεις του επεκταμένου μαθητικού μοντέλου, για πρώτη φορά, ήταν δυνατόν να παραχθεί ένα εκπαιδευτικό παιχνίδι το οποίο όχι μόνο μπορούσε να αυτο-ελεγχθεί πριν την χρήση του σε πραγματικούς μαθητές, αλλά είχε και την δυνατότητα να παρακολουθεί σε πραγματικό χρόνο την απόδοση του μαθητή και να προσπαθεί να την μεγιστοποιήσει.

Educational software
Διαδικτυακό εκπαιδευτικό λογισμικό
Αλγόριθμοι τεχνητής νοημοσύνης
Διαδικτυακό εκπαιδευτικό παιχνίδι
Educational games
Artificial intelligence

Εθνικό Κέντρο Τεκμηρίωσης (ΕΚΤ) (EL)
National Documentation Centre (EKT) (EN)



University of Piraeus (UNIPI)
Πανεπιστήμιο Πειραιώς

*Institutions are responsible for keeping their URLs functional (digital file, item page in repository site)