Development of polynomial neural networks using orthogonal polynomials

Ανάπτυξη πολυωνυμικών νευρωνικών δικτύων με χρήση ορθογωνίων πολυωνύμων

Development of polynomial neural networks using orthogonal polynomials

Rigos, Anastasios

Ρήγος, Αναστάσιος

PhD Thesis

2017

Στην παρούσα διδακτορική διατριβή παρουσιάζεται η ερευνητική προσπάθεια της δημιουργίας, εκπαίδευσης και χρήσης Πολυωνυμικών Τεχνητών Νευρωνικών Δικτύων (ΠΤΝΔ) με χρήση ορθογωνίων πολυωνύμων. Η έρευνα αυτή εστιάζει στην επίδραση που έχουν τα πολυώνυμα αυτά μέσα στη δομή των Τεχνητών Νευρωνικών Δικτύων (ΤΝΔ).Αναπτύχθηκαν τρείς διαφορετικές καινοτόμες δομές Πολυωνυμικών Τεχνητών Νευρωνικών Δικτύων (ΠΤΝΔ) οι οποίες έχουν δημοσιευθεί σε έγκυρα διεθνή περιοδικά καθώς και σε πρακτικά επιστημονικών συνεδρίων. Σκοπός και των τριών μεθόδων είναι η χρήση τους σε ισχυρά μη-γραμμικά σύνολα δεδομένων με σκοπό την αύξηση της ακριβείας των αποτελεσμάτων τους. Τα σύνολα δεδομένων αφορούν: (α) πραγματικά πειραματικά δεδομένα που συλλέχθηκαν κατά την διάρκεια της παρούσης διδακτορικής διατριβής στο πλαίσιο των ερευνητικών προγραμμάτων "ΘΑΛΗΣ (ISLA) Physical and Economic Impacts of Sea Level Changes on the beaches of the Aegean Archipelago" και " Beachtour: Συνέργεια για την αειφόρο ανάπτυξη και ασφαλή χρήση των Ελληνικών παραλιών" (βλ. Παράρτημα Β), και (β) δεδομένα που επιλέχθηκαν από την βάση δεδομένων UCI Repository.Στο πρώτο προτεινόμενο δίκτυο που παρουσιάζεται στο κεφάλαιο 2 έγινε χρήση των ορθογωνίων πολυωνύμων Chebychev μέσα στη δομή ενός ΤΝΔ συναρτήσεων ακτινικής βάσης. Το δίκτυο αποτελείται από τα εξής τρία τμήματα: (i) Από ένα πολυωνυμικό νευρωνικό δίκτυο το οποίο χρησιμοποιεί τα πολυώνυμα Chebychev ως συναρτήσεις ενεργοποίησης, (ii) Από ένα ΤΝΔ το οποίο χρησιμοποιεί συναρτήσεις ακτινικής βάσης και μια πρωτότυπη συσταδοποίηση δεδομένων εισόδου-εξόδου. Αυτή συσταδοποιεί τα δεδομένα εισόδου λαμβάνοντας υπόψη της την κατανομή των δεδομένων εξόδου και με αυτόν τον τρόπο δίνει καλύτερες προσεγγιστικές δυνατότητες στο ΤΝΔ. (iii) Από το τμήμα συμπεράσματος το οποίο συνδυάζει τα δύο προηγούμενα τμήματα για να υπολογίσει την έξοδο του δικτύου. Το δίκτυο εκπαιδεύτηκε χρησιμοποιώντας τη μέθοδο Gradient Descent με χρήση του κανόνα του Armijo ώστε να ελαχιστοποιηθεί το τετραγωνικό σφάλμα του δικτύου. Τα πειράματα (αριθμητικές προσομοιώσεις) του ΤΝΔ αυτού πραγματοποιήθηκαν σε σύνολα δεδομένων του UCI Repository καθώς και σε ένα ισχυρά μη-γραμμικό σύνολο δεδομένων το οποίο καθορίζει την εξαγωγή της θέσης μίας ακτογραμμής από εξειδικευμένου τύπου εικόνες τύπου οι οποίες δείχνουν την τυπική απόκλιση ενός συνόλου διαδοχικών εικόνων. Η δεύτερη μέθοδος (κεφάλαιο 3) αφορά την ανάπτυξή ενός νευροασαφούς δικτύου το οποίο αποτελείται από (i) ένα ασαφές σύστημα (ii) ένα πολυωνυμικό ΤΝΔ το οποίο χρησιμοποιεί τα ορθογώνια πολυώνυμα Hermite και (iii) την διαδικασία εξαγωγής συμπεράσματος, η οποία χρησιμοποιεί τα προηγούμενα δύο μέρη του για να εξάγει το επιθυμητό αποτέλεσμα. Το δίκτυο εκπαιδεύτηκε χρησιμοποιώντας τη μέθοδο Gradient Descent με χρήση του κανόνα του Armijo ώστε να ελαχιστοποιηθεί το ολικό τετραγωνικό σφάλμα του δικτύου. Το δίκτυο αυτό δοκιμάστηκε σε σύνολα δεδομένων του UCI Repository καθώς και σε ένα μη-γραμμικό σύνολο δεδομένων το οποίο προβλέπει την διάβρωση/μετατόπιση μίας ακτογραμμής μέσα από δεδομένα που έχουν προκύψει από χωρικές και μετεωρολογικές μετρήσεις. Η τρίτη μέθοδος (κεφάλαιο 4) αποτελείται από ένα πολυωνυμικό ΤΝΔ που κάνει χρήση πολυωνύμων Legendre. Στο ΤΝΔ αυτό για να λειτουργεί η ορθογωνιότητα των πολυωνύμων που χρησιμοποιούνται, ήταν απαραίτητη η αλλαγή διαστήματος των δεδομένων (scaling), ώστε τα δεδομένα που διέρχονται μέσα από τους πολυωνυμικούς κόμβους του δικτύου να ανήκουν στο διάστημα. To προτεινόμενο ΤΝΔ εκπαιδεύτηκε με χρήση αλγορίθμων νοημοσύνης σμήνους, συγκεκριμένα με τον αλγόριθμο GABC η οποία αποτελεί παραμετροποίηση του αλγορίθμου Artificial Bee Colony (ABC) με την καθοδήγηση της θέσης G-best της μεθόδου Particle Swarm Optimization (PSO). Τέλος το δίκτυο αυτό δοκιμάστηκε σε σύνολα δεδομένων του UCI Repository καθώς και σε ένα σύνολο δεδομένων το οποίο προσπαθεί να προβλέψει την περιστροφή του μετώπου μιας παραλίας .Σε όλες τις παραπάνω μεθόδους τα αποτελέσματα έδειξαν ότι η αναπαράσταση των συναρτήσεων ενεργοποίησης των κόμβων ενός νευρωνικού δικτύου με την χρήση ορθογώνιων πολυωνύμων είναι ικανή να βελτιώσει τόσο την συμπεριφορά όσο και την απόδοση του δικτύου σε προβλήματα παλινδρόμησης. .

This PhD thesis presents the research involving the creation, training and use of Polynomial Artificial Neural Networks (pNN's) using orthogonal polynomials. This research focuses on the effect of these polynomials into the structure of Artificial Neural Networks.Three original structures of Polynomial Neural Networks have been developed and they have been published in peer-reviewed journals and in proceedings of scientific conferences. The purpose of all three methods is their usage on high non-linear data sets in order to increase the accuracy of their results. The datasets involve: (a) experimental data collected from the research programs "THALES (ISLA) Physical and Economic Impacts of Sea Level Changes on the beaches of the Aegean Archipelago" and "Beachtour: Synergy for sustainable development and safe use of the Greek beaches" (see Appendix B), and ( b) data selected by the UCI Repository database. The first proposed network (Chapter 2) uses the orthogonal Chebychev polynomials into the structure of an ANN. The network consists of the following three parts: (i) A polynomial neural network which uses polynomials Chebychev as activation functions. (ii) A part consisting of an ANN which uses radial basis functions (RBF) and uses an original clustering method of the input-output data space. This method clusters input data according to the distribution of the output data space and thus provides better approximation capabilities to the ANN. And (iii) The inference part which combines the two previous parts of the network in order to calculate the network's output. The network was trained using the Gradient Descent method with the Armijo rule, in order to minimize the square error of the network. Experiments (numerical simulations) of the proposed ANN were applied on UCI Repository datasets and on a high non-linear data set which defines the position of a shoreline from digital images that show the standard deviation of a set of consecutive images.The second method (Chapter 3) presents a neuro-fuzzy network which consists of (i) a fuzzy system (ii) a polynomial ANN that uses the orthogonal Hermite polynomials and (iii) a phase that uses the previous two parts in order to extract the desired output/result. The network was trained using the Gradient Descent method with the Armijo rule, in order to minimize the square error of the network. The network was tested on the UCI Repository data sets and on a non-linear data set that models/predicts the coastal erosion through data generated from spatial and meteorological measurements. The third method (Chapter 4) consists of a polynomial ANN using the Legendre polynomials. In order to maintain the orthogonality of the polynomials which operates into the interval, a scaling procedure was applied before the data enter the network's layer that uses the polynomials. The proposed ANN was trained using a swarm intelligence algorithm, the GABC algorithm which is a modification of the Artificial Bee Colony algorithm (ABC) that uses the G-best position of the method Particle Swarm Optimization (PSO). Finally the network was tested on the UCI Repository data sets and on a data set that predicts the beach rotation phenomenon. In all the above methods the results showed that expressing the activation functions of the nodes of a neural network using orthogonal polynomials are capable of improving the network performance in regression problems. .

Φυσικές Επιστήμες ➨ Επιστήμη Ηλεκτρονικών Υπολογιστών και Πληροφορική

Τεχνητά νευρωνικά δίκτυα

Artificial neural networks

Orthogonal polynomials

Ορθογώνια πολυώνυμα

Επιστήμη Ηλεκτρονικών Υπολογιστών και Πληροφορική

Natural Sciences

Computer and Information Sciences

Φυσικές Επιστήμες

Ελληνική γλώσσα

Πανεπιστήμιο Αιγαίου

University of the Aegean

Πανεπιστήμιο Αιγαίου. Σχολή Κοινωνικών Επιστημών. Τμήμα Πολιτισμικής Τεχνολογίας και Επικοινωνίας

BY_NC_ND

Εθνικό Κέντρο Τεκμηρίωσης και Ηλεκτρονικού Περιεχομένου (ΕΚΤ)

Εθνικό Αρχείο Διδακτορικών Διατριβών

Συλλογή ΕΑΔΔ