In today's era, the proliferation of social media of all types has led to the existence of an enormous amount of information. The main form of this information is written texts. As a result, text analysis has occupied the field of artificial intelligence extensively in recent years. Of particular interest is the branch of sentiment analysis. So far, the sentiment in a text can be predicted to a satisfactory degree using machine learning models and especially those based on the Transformers architecture. In the framework of this thesis, the analysis of the emotional state of texts is studied using Transformers models. More specifically, the BERT, BART, ALBERT, XLM, XLM-RoBERTa, RoBERTa, DistilBERT, ELECTRA and XLNet models were used in their various versions. Each of these models was trained on the MELD dataset. The model that gathered the best performance was BART in its basic version reaching the accuracy of 65.28%. Much emphasis was then placed on the term explainability. Through experiments between the models BART, RoBERTa and ALBERT, examples are presented in which the characteristics of the samples in different emotion categories are analyzed in terms of their importance for conducting the final categorization. The techniques used to produce these results are LIME and SHAP. Finally, for the RoBERTa model, a further experimental procedure was performed which aimed to present information about the weights related to the Attention mechanism for each level of the model. Regarding the theoretical framework, an extensive literature review is presented which includes the ways of categorizing emotions, the most popular datasets suitable for experiments in this scientific field, various research works in which Transformer models are used for the purpose of emotional text analysis as well as a study which theoretically analyzes the structure of Transformers models and points out their differences.
Στη σημερινή εποχή η εξάπλωση των μέσων κοινωνικής δικτύωσης παντός τύπου έχει οδηγήσει στην ύπαρξη ενός τεράστιου όγκου πληροφορίας. Η κύρια μορφή αυτής της πληροφορίας είναι τα γραπτά κείμενα. Ως αποτέλεσμα, η ανάλυση κειμένου έχει απασχολήσει εκτενώς τα τελευταία χρόνια το πεδίο της τεχνητής νοημοσύνης. Ιδιαίτερο ενδιαφέρον παρουσιάζει ο κλάδος της ανάλυσης συναισθήματος. Μέχρι στιγμής, το συναίσθημα σε ένα κείμενο μπορεί να προβλεφθεί σε ικανοποιητικό βαθμό με την χρήση μοντέλων μηχανικής μάθησης και ιδιαίτερα αυτών που βασίζονται στην αρχιτεκτονική των Transformers. Στα πλαίσια αυτής της διπλωματικής εργασίας μελετάται η ανάλυση συναισθηματικής κατάστασης κειμένων με την χρήση μοντέλων Transformers. Πιο συγκεκριμένα, χρησιμοποιήθηκαν τα μοντέλα BERT, BART, ALBERT, XLM, XLM-RoBERTa, RoBERTa, DistilBERT, ELECTRA και XLNet σε διάφορες εκδόσεις τους. Κάθε ένα από αυτά τα μοντέλα εκπαιδεύτηκε πάνω στο σύνολο δεδομένων MELD. Το μοντέλο το οποίο συγκέντρωσε την καλύτερη απόδοση ήταν το BART στην βασική του έκδοση αγγίζοντας ακρίβεια 65,28%. Στη συνέχεια δόθηκε μεγάλη έμφαση στον όρο της εξηγησιμότητας. Μέσα από πειράματα μεταξύ των μοντέλων BART, RoBERTa και ALBERT, παρουσιάζονται παραδείγματα στα οποία αναλύονται τα χαρακτηριστικά των δειγμάτων σε διάφορες κατηγορίες συναισθήματος, ως προς την σημαντικότητά τους για τη διεξαγωγή της τελικής κατηγοριοποίησης. Οι τεχνικές που χρησιμοποιήθηκαν για την παραγωγή αυτών των αποτελεσμάτων είναι οι LIME και SHAP. Τέλος, για το μοντέλο RoBERTa έγινε μια περαιτέρω πειραματική διαδικασία η οποία είχε ως σκοπό να παρουσιάσει πληροφορίες σχετικά με τα βάρη που αφορούν τον μηχανισμό Attention για κάθε επίπεδο του μοντέλου. Όσον αφορά το θεωρητικό πλαίσιο, παρουσιάζεται μία εκτενής βιβλιογραφική ανασκόπηση η οποία περιλαμβάνει τους τρόπους κατηγοριοποίησης συναισθημάτων, τα πιο δημοφιλή σύνολα δεδομένων που ενδείκνυνται για πειράματα σε αυτόν τον επιστημονικό χώρο, διάφορες ερευνητικές εργασίες στις οποίες χρησιμοποιούνται μοντέλα Transformers με σκοπό τη συναισθηματική ανάλυση κειμένου καθώς και μια μελέτη η οποία αναλύει θεωρητικά την δομή των μοντέλων Transformers και επισημαίνει τις διαφορές τους.
University of Patras
