Καθώς το πλήθος των αδόμητων δεδομένων στο διαδίκτυο μεγαλώνει, γίνεται πλέον
επιτακτική ανάγκη η εύρεση τρόπων για συστηματική επεξεργασία τους και η εξαγω-
γή πολύτιμης γνώσης από αυτά. Το αντικείμενο της διπλωματικής εργασίας είναι η
ανάπτυξη μοντέλων που μπορούν να εξαγάγουν αναπαραστάσεις από τη φυσική γλώσ-
σα και συγκεκριμένα από τη συντακτική δομή και τη σημασία με σκοπό την επίλυση
άλλων υψηλότερων προβλγημάτων όπως είναι η ανάλυση συναισθήματος. Ο σκοπός
είναι η ανάπτυξη μια τεχνολογία για επεξεργασία φυσικής γλώσσας που μπορεί να δη-
μιουργήσει αναπαραστάσεις φράσεις και προτάσεις. Επιπλέον, για τη δημιουργία των
αναπαραστάσεων το αρχικό κομμάτι κειμένου δεν υπόκειται καμία επεξεργασία και δεν
γίνεται κάποια υπόθεση απλοποίησης όπως για παράδειγμα αναξαρτησία των λέξων
μεταξύ τους, σύνηθες τεχνική για αλγορίθμους επεξεργασίας λέξεων.
Συγκεκριμένα, τα αναδρομικά νευρωνικά δίκτυα που αναπτύχθηκαν είναι μια κα-
τηγορία νευρωνικών δικτύων που εφαρμόζονται σε δεδομένα με ιεραρχική δομή, πχ
δυαδικά δέντρα. Η προσθήκη πληροφορίας για δομή έχει αποτελέσει καθοριστικό στοι-
χείο για την καλή απόδοση αυτών των δικτύων ειδικά όταν αυτά εφαρμόζονται πάνω
σε προβλήματα φυσικής γλώσσας όπως είναι η ανάλυση συναισθήματος, η συντακτική
ανάλυση και η μοντελοποίηση γλώσσας. Η δύναμη τους βρίσκεται στο γεγονός οτι
μπορούν να δημιουργήσουν αναπαραστάσεις προτάσεων μέσω της σύνθεσης λεκτικών
αναπαραστάσεων, επιτυγχάνοντας με αυτό τον τρόπο τη δημιουργία ενός πολυδιάστα-
του χώρου που μπορεί να ταξινομηθεί.
Στα κεφάλαια παρουσιάζεται η θεωρία και αναπτύσσουμε αρχιτεκτονικές αναδρομι-
κών δικτύων με μνήμες που υπολογίζουν σε μονή (TreeGRU) και διπλή κατεύθυνση
(TreeBiGRU) και η εφαρμογή τους πάνω στο πρόβλημα της ανάλυσης συναισθήματος. Επομένω, χρησιμοποιώντας τη συντακτική δομή μιας πρότασης, δημιουργούνται
αναπαραστάσεις για τη πρόταση και τις επιμέρους υπο-προτάσεις οι οποίες μετά ταξινο-
μούνται με βάση το συναίσθημα. Στη σύνεχεια, προτάσσεται ο μηχανισμός προσοχής
σε δομή (structural attention mechanism) και εφαρμόζεται πάνω στα δίκτυα που α-
ναπτύχθηκαν. Ο μηχανισμός προσοχής πάνω σε δομή λειτουργεί στο πλαίσιο οτι οι
αναπαραστάσεις υπο-προτάσεων δεν έχουν την ίδια βαρύτητα για τη σωστή αναπα-
ράσταση μιας πρότασης. Τέλος, γίνεται ανάλυση διαφόρων παραλλαγών των δικτύων
που αναπτύχθηκαν στη διπλωματική καθώς και δικτύων που παρουσιάζονται στη βιβλιογραφία.
(EL)
As the number of unstructured data on the web grows, it becomes imperative to
find ways to systematically process them and extract valuable knowledge from them.
The subject of this diploma thesis is the development of models that can extract
representations from the natural language and in particular from the syntactic structure
and the meaning in order to solve other problems such as sentiment analysis.
The purpose is to develop a technology for natural language processing that can
create representations of phrases and sentences. In addition, for the induction of
representations, the original piece of text is not subject to any processing and no
simplification assumption is made, such as for instance the independence of words,
a common technique for natural language processing algorithms.
In summary, the recursive neural networks developed are a class of neural networks
that are applied to hierarchical structure data, e.g., binary trees. Adding
structural information has been a key element in the good performance of these
networks, especially when they are applied to natural language problems such as
sentiment analysis, syntactic analysis and language modeling. Their power lies in
the fact that they can create representations of sentences through the synthesis of
word representations, thus achieving the creation of a multidimensional space that
can be classified.
In the chapters, we present the theory and we are developing recusive networks
with memories that work either in an unidirectional ( en TreeGRU) and a bidirectional
manner ( en TreeBiGRU) and apply them to the problem of sentiment
analysis. Therefore, using the syntactic structure of a sentence, representations are
created for the sentence and sub-phrases that are then categorized based on sentiment. Furthermore, structural attention mechanism is introduced and implemented
on the networks that are being developed. The mechanism of attention on a structure
works in the context that the sub-sentence representations do not have the
same weight for the proper representation of a sentence. Finally, we analyze various
variants of the networks developed in the diploma thesis as well as the networks
presented in the bibliography.
(EN)
National Technical University of Athens
