Εφαρμογή για την αναγνώριση αντικειμένων σε κινητές συσκευές με χρήση μηχανικής μάθησης

Εφαρμογή για την αναγνώριση αντικειμένων σε κινητές συσκευές με χρήση μηχανικής μάθησης

Στασινός, Χαράλαμπος - Νεκτάριος

Σχολή Μηχανικών

Βουλόδημος, Αθανάσιος

Σγουροπούλου, Κλειώ

Troussas, Christos

Τμήμα Μηχανικών Πληροφορικής και Υπολογιστών

Διπλωματική εργασία

2021-07

2021-07-23T07:47:23Z

Με την ανάπτυξη της τεχνολογίας και την μεγάλη εξάπλωση των κινητών συσκευών ένα μεγάλο μέρος του πληθυσμού έχει έρθει σε επαφή με πλήθος νέων τεχνολογιών, οι οποίες παλαιότερα ήταν διαθέσιμες μόνο μέσω τη χρήσης εξειδικευμένων συσκευών ή δεν ήταν καθόλου προσβάσιμες. Μία τεχνολογία που έγινε εύκολα διαθέσιμη με την ανάπτυξη των κινητών συσκευών είναι η όραση υπολογιστών. Στην παρούσα εργασία θα παρουσιαστεί η ανάπτυξη ενός εκπαιδευτικού λογισμικού για κινητές συσκευές που χρησιμοποιούν το λειτουργικό σύστημα Android, το οποίο θα βοηθάει τους χρήστες στην αναγνώριση αντικειμένων μέσα από μια φωτογραφία, θα τα σημειώνει πάνω σε αυτήν και θα αναφέρει από κάτω τις τρεις καλύτερες απαντήσεις με αναφορά του ποσοστού σιγουριάς ανά αντικείμενο. Το συγκεκριμένο λογισμικό θεωρείται εκπαιδευτικό, διότι μπορεί να χρησιμοποιηθεί ως βοήθημα αλλά και ως εργαλείο από τους χρήστες ,ώστε να αναγνωρίσουν τα αντικείμενα στο χώρο τους. Επιπλέον, μπορεί να βοηθήσει στην αναγνώριση ηλεκτρονικών ειδών από άτομα που δεν διαθέτουν την ανάλογη γνώση. Για την επίτευξη του στόχου της εργασίας η εφαρμογή γράφτηκε με χρήση της γλώσσας προγραμματισμού Kotlin. Ακόμα αξιοποιήθηκαν οι τεχνολογίες AutoML της Google, για την εκπαίδευση των μοντέλων μηχανικής μάθησης, αλλά και τα εργαλεία για αναγνώριση αντικειμένων και για επισήμανση εικόνων του Google Machine Learning Kit. Για την εκπαίδευση των μοντέλων μηχανικής μάθησης χρησιμοποιήθηκαν το σετ δεδομένων CIFAR – 100, ένα σύνολο δεδομένων με ηλεκτρονικά είδη και ένα σύνολο δεδομένων με πέντε διαφορετικούς τύπους λουλουδιών. Κατά τη χρήση της εφαρμογής διαπιστώθηκε ότι αναγνωρίζονται κατά πλειοψηφία τα αντικείμενα στις εικόνες που δοκιμάστηκαν. Στο πρώτο μοντέλο μηχανικής μάθησης, με τα συνηθισμένα αντικείμενα, παρατηρήθηκε ότι αν το αντικείμενο ανήκει σε κάποια κατηγορία από αυτές που περιέχει το μοντέλο, τότε η σωστή απάντηση εμφανίζεται στις τρεις πρώτες προβλέψεις. Στο δεύτερο μοντέλο μηχανικής μάθησης, με τα ηλεκτρονικά είδη, παρατηρήθηκαν οι περισσότερες λανθασμένες προβλέψεις κυρίως λόγω του περιορισμού ανίχνευσης των αντικειμένων. Στο τελευταίο μοντέλο μηχανικής μάθησης, με τα λουλούδια, παρατηρήθηκε 100% επιτυχία αναγνώρισης των αντικειμένων εξαιτίας του μικρού αριθμού κατηγοριών.

Εφαρμογή για κινητές συσκευές

Μηχανική μάθηση

Android

Greek

Πανεπιστήμιο Δυτικής Αττικής

ΣΧΟΛΗ ΜΗΧΑΝΙΚΩΝ - Τμήμα Μηχανικών Πληροφορικής και Υπολογιστών - Διπλωματικές εργασίες

Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0 Διεθνές

http://creativecommons.org/licenses/by-nc-nd/4.0/

Attribution-NonCommercial-NoDerivatives 4.0 Διεθνές

Πανεπιστήμιο Δυτικής Αττικής (ΠΑ.Δ.Α.)

Πολυνόη - Ιδρυματικό Αποθετήριο Πανεπιστημίου Δυτικής Αττικής

ΣΧΟΛΗ ΜΗΧΑΝΙΚΩΝ

Διπλωματικές εργασίες

Τμήμα Μηχανικών Πληροφορικής και Υπολογιστών