CocinAR : an adaptable multimodal augmented reality system for developing cooking skills in children with cognitive impairments

 
This item is provided by the institution :
University of Crete
Repository :
E-Locus Institutional Repository
see the original item page
in the repository's web site and access all digital files if the item*
share




2017 (EN)
CocinAR: ένα προσαρμόσιμο πολυτροπικό σύστημα επαυξημένης πραγματικότητας για την ανάπτυξη δεξιοτήτων μαγειρικής σε παιδιά με νοητικές δυσκολίες
CocinAR : an adaptable multimodal augmented reality system for developing cooking skills in children with cognitive impairments

Παπαδάκη, Ελένη Π.

Σαββίδης, Αντώνιος
Ζαμπούλης, Ξενοφών
Στεφανίδης, Κωνσταντίνος

Ορισμένες δραστηριότητες διαβίωσης συχνά καθίστανται δύσκολες για άτομα με νοητικές δυσκολίες, ωστόσο η αυτονομία και η ανεξαρτησία τους μπορούν να ενισχυθούν μέσω διαδραστικών τεχνολογιών. Η χρήση παραδοσιακών διεπαφών υπολογιστών όμως, έχει αποδειχθεί δύσκολη για αυτούς τους χρήστες, αναδεικνύοντας την ανάγκη για νέες μεθόδους αλληλεπίδρασης. Στην παρούσα εργασία προτείνεται το CocinAR, ένα καινοτόμο σύστημα επαυξημένης πραγματικότητας, το οποίο διδάσκει τη διαδικασία παρασκευής απλών γευμάτων σε παιδιά με νοητικές δυσκολίες, με τη μορφή παιχνιδιού. Το CocinAR είναι εγκατεστημένο στην κουζίνα του Κέντρου Αποκατάστασης για Παιδιά με Αναπηρίες στο Ηράκλειο της Κρήτης, όπου χρησιμοποιείται από τους εκπαιδευτικούς ως συμπληρωματικό εργαλείο στο πλαίσιο του προγράμματος "Αυτόνομης διαβίωσης". Το CocinAR αποτελείται από πέντε παιχνίδια, τα οποία σκοπεύουν να διδάξουν τα παιδιά: (i) ποια γεύματα είναι κατάλληλα για πρωινό, μεσημεριανό, απογευματινό και δείπνο, (ii) πώς να μαγειρεύουν απλά γεύματα και (iii) θεμελιώδεις κανόνες ασφάλειας και υγιεινής που πρέπει να εφαρμόζονται κατά τη διάρκεια της διαδικασίας παρασκευής γευμάτων. Το σύστημα υποστηρίζει πολλαπλές τεχνικές αλληλεπίδρασης, αναγνωρίζοντας απτά αντικείμενα πάνω στην επιφάνεια ενός τραπεζιού, καθώς και πολυμεσική έξοδο μέσω κειμένου, εικόνων, ήχου και βίντεο. Επιπλέον, κάθε παιχνίδι έχει σχεδιαστεί να επιτρέπει αλληλεπίδραση χωρίς επίβλεψη, παρέχοντας βοήθεια σχετική με το εννοιολογικό πλαίσιο του κάθε παιχνιδιού, εύκολα προσβάσιμη από τον μαθητή. Επιπροσθέτως, το CocinAR μπορεί να προσαρμοστεί στις ανάγκες και τις δεξιότητες του κάθε παιδιού με νοητικές δυσκολίες, χρησιμοποιώντας ατομικά προφίλ, ενώ συγκεντρώνει και παρουσιάζει στατιστικές πληροφορίες σχετικές με την πρόοδο του κάθε μαθητή. Για την ανάπτυξη του CocinAR ακολουθήθηκε μια επαναληπτική, ανθρωποκεντρική διαδικασία, πραγματοποιώντας πολλαπλές αξιολογήσεις από ειδικούς αξιολογητές ευχρηστίας και εκπαιδευτικούς του Κέντρου Αποκατάστασης σε κάθε της στάδιο. Η διαδικασία ανάπτυξης του συστήματος ξεκίνησε με τη συγκέντρωση των απαιτήσεων, ακολουθούμενη από τη λεπτομερή σχεδίασή του, που οδήγησε στο πρώτο πρωτότυπο του συστήματος. Η πρωτότυπη εφαρμογή εξετάστηκε ως προς την ευχρηστία σε μια αξιολόγηση με χρήστες, στα αποτελέσματα της οποίας βασίστηκε η ανάπτυξη του πλήρους συστήματος. Το τελικό σύστημα εγκαταστάθηκε για πιλοτική χρήση και εξετάστηκε και πάλι με τη συμμετοχή μαθητών του Κέντρου Αποκατάστασης, με σκοπό την αξιολόγηση των διάφορων σχεδιαστικών επιλογών, ως προς την καταλληλότητά τους για παιδιά με νοητικές δυσκολίες, καθώς και τη συνολική ευχρηστία του συστήματος. Το CocinAR αποδείχθηκε διαισθητικό στη χρήση, η αλληλεπίδραση μέσω απτών αντικειμένων άνετη και τα γραφικά κατάλληλα για τα παιδιά με νοητικές δυσκολίες. Επιπλέον, όλα τα παιδιά ήταν πολύ απορροφημένα ενώ έπαιζαν και φαινόταν να διασκεδάζουν με τα παιχνίδια. Μια πιθανή βελτίωση που υποδείχθηκε από την αξιολόγηση αφορά το περιεχόμενο των συνταγών, το οποίο θα μπορούσε να παρουσιαστεί πιο σταδιακά, υποστηρίζοντας νοητικούς περιορισμούς όπως η κατανόηση σύνθετων προτάσεων. (EL)
Although activities of daily living are often difficult for individuals with cognitive impairments, their autonomy and independence can be fostered through interactive technologies. The use of traditional computer interfaces has however proved to be difficult for these users, bringing to the surface the need for novel interaction methods. This thesis proposes CocinAR, an innovative Augmented Reality system, designed to teach children with cognitive impairments how to prepare simple meals, following a playful approach. CocinAR is currently installed in the kitchen of the Rehabilitation Centre for Children with Disabilities in Heraklion, Crete, where it is used by the educators as a complementary tool in the context of their "Independent living" program. CocinAR consists of five games, aiming to instruct children about: (i) which meals are appropriate for breakfast, lunch, supper and dinner, (ii) how to cook simple meals and (iii) fundamental rules of safety and hygiene that should be applied during the food preparation process. The system supports multimodal interaction techniques utilizing tangible objects on a table-top surface, as well as multimedia output via text, images, audio and video. Moreover, each game is designed to allow unsupervised interaction, providing context-sensitive help, easily accessible by the student. Additionally, CocinAR can be personalized to accommodate the diverse needs and dexterities of children with cognitive impairments by employing individual user profiling, while it gathers and presents statistic information for each individual user. The development of CocinAR followed an iterative human-centered process, involving multiple assessments by User Experience experts and educators from the Rehabilitation Center in every step of the process. The system's lifecycle started with the requirements elicitation, followed by the composition of a detailed design, which led to the first system prototype. The prototype was assessed in terms of usability in a user-based evaluation, and based on the results of this evaluation, the final system was fully implemented. The final system was installed for pilot use and was once again evaluated involving students of the Rehabilitation Center, assessing the individual design choices made, with respect to their appropriateness for children with cognitive impairments, as well as the overall user experience. CocinAR has proved to be intuitive in its use, the interaction via tangible objects comfortable and the graphics appropriate for children with cognitive impairments. Furthermore, all children were very engaged while playing and seemed to enjoy the games. A possible improvement indicated by the evaluation concerns the recipes' content, which could be more gradually presented, supporting cognitive limitations such as the comprehension of complex sentences. (EN)

text
Τύπος Εργασίας--Μεταπτυχιακές εργασίες ειδίκευσης

Adaptivity
Προσαρμοσιμότητα
Πολυμορφική αλληλεπίδραση
Multimodal interaction

Πανεπιστήμιο Κρήτης (EL)
University of Crete (EN)

English

2017-07-21


Σχολή/Τμήμα--Σχολή Θετικών και Τεχνολογικών Επιστημών--Τμήμα Επιστήμης Υπολογιστών--Μεταπτυχιακές εργασίες ειδίκευσης



*Institutions are responsible for keeping their URLs functional (digital file, item page in repository site)