Εκπαίδευση τεχνητών νευρωνικών δικτύων με την χρήση εξελικτικών αλγορίθμων, σε σειριακά και κατανεμημένα συστήματα

RDF 

 
Το τεκμήριο παρέχεται από τον φορέα :
Πανεπιστήμιο Πατρών
Αποθετήριο :
Νημερτής
δείτε την καρτέλα τεκμηρίου
μέσα από τον ιστότοπο του αποθετηρίου του φορέα *
κοινοποιήστε το τεκμήριο



Σημασιολογικός εμπλουτισμός/ομογενοποίηση από το EKT

2008 (EL)
Εκπαίδευση τεχνητών νευρωνικών δικτύων με την χρήση εξελικτικών αλγορίθμων, σε σειριακά και κατανεμημένα συστήματα

Επιτροπάκης, Μιχαήλ

Αλεβίζος, Παναγιώτης
Βραχάτης, Μιχαήλ
Epitropakis, Michael
Αλεβίζος, Φίλiππος

In this contribution, we study the class of Higher-Order Neural Networks and especially the Pi-Sigma Networks. The performance of Pi-Sigma Networks is evaluated through several well known neural network training benchmarks. In the experiments reported here, Evolutionary Algorithms and Parallel/Distributed Evolutionary Algorithms are implemented for Pi-Sigma neural networks training. More specifically the serial as well as a parallel/distributed version of the Differential Evolution have been employed. The proposed approach is applied to train Pi-Sigma networks using threshold activation functions. Moreover, the weights and biases were confined to a narrow band of integers, constrained in the range [-32, 32]. Thus the trained Pi-Sigma neural networks can be represented by just 6 bits. Such networks are better suited for hardware implementation than the real weight ones. Experimental results suggest that this training process is fast, stable and reliable and the trained Pi-Sigma networks, with both serial and parallel/distributed algorithms, exhibited good generalization capabilities. Furthermore, the usage of a distributed version of the Differential Evolution, has demonstrated a speedup of the training process.
Σε αυτή την εργασία, μελετάμε την κλάση των Υψηλής Τάξης Νευρωνικών Δικτύων και ειδικότερα των Πι—Σίγμα Νευρωνικών Δικτύων. Η απόδοση των Πι—Σίγμα Νευρωνικών Δικτύων αξιολογείται με την εφαρμογή τους σε διάφορα πολύ γνωστά χαρακτηριστικά προβλήματα εκπαίδευσης νευρωνικών δικτύων. Στα πειράματα που πραγματοποιήθηκαν, για την εκπαίδευση των Πι—Σίγμα Νευρωνικών Δικτύων υλοποιήθηκαν και εφαρμόστηκαν Σειριακοί και Παράλληλοι/Κατανεμημένοι Εξελικτικοί Αλγόριθμοι. Πιο συγκεκριμένα χρησιμοποιήθηκαν οι σειριακές καθώς και οι παράλληλες/κατανεμημένες εκδοχές των Διαφοροεξελικτικών Αλγόριθμων. Η προτεινόμενη μεθοδολογία βασίστηκε σε αυτές τις εκδοχές και εφαρμόστηκε για την εκπαίδευση των Πι—Σίγμα δικτύων χρησιμοποιώντας συναρτήσεις ενεργοποίησης «κατώφλια». Επιπρόσθετα, όλα τα βάρη και οι μεροληψίες των δικτύων περιορίστηκαν σε ένα μικρό εύρος ακέραιων αριθμών, στο διάστημα [-32, 32]. Συνεπώς, τα εκπαιδευμένα Πι—Σίγμα νευρωνικά δίκτυα μπορούν να αναπαρασταθούν με ακεραίους των 6-bits. Αυτής της μορφής τα δίκτυα είναι πιο κατάλληλα για την εφαρμογή τους σε «υλικό» (hardware), από νευρωνικά δίκτυα με πραγματικά βάρη. Τα πειραματικά αποτελέσματα μας δείχνουν ότι η διαδικασία εκπαίδευσης είναι γρήγορη, σταθερή και αξιόπιστη. Ακόμα η εφαρμογή των παράλληλων/κατανεμημένων Εξελικτικών Αλγορίθμων για την εκπαίδευση των Πι—Σίγμα δικτύων μας επιδεικνύει αρκετά καλές ικανότητες γενίκευσης των εκπαιδευμένων δικτύων καθώς και προσφέρει επιτάχυνση στην διαδικασία εκπαίδευσης τους.

Μεταπτυχιακές Εργασίες
Thesis

Τεχνητά νευρωνικά δίκτυα
Ακέραια βάρη
Πι-σίγμα τεχνητά νευρωνικά δίκτυα
Pi-sigma neural networks
Artificial neural networks
Κατανεμημένα συστήματα
Parallel evolutionary algorithms
Evolutionary algorithms
Μοντέλα νησιών
Συναρτήσεις ενεργοποίησης κατώφλια
006.32
Threshold activation functions
Υψηλής τάξης τεχνητά νευρωνικά δίκτυα
Distributed systems
Differential evolution
Εξελικτικοί αλγόριθμοι
Διαφοροεξελικτικοί αλγόριθμοι
Παράλληλοι εξελικτικοί αλγόριθμοι
Integer weights

Πανεπιστήμιο Πατρών (EL)
University of Patras (EN)

2009-01-14T10:50:45Z
2008-06-24


0



*Η εύρυθμη και αδιάλειπτη λειτουργία των διαδικτυακών διευθύνσεων των συλλογών (ψηφιακό αρχείο, καρτέλα τεκμηρίου στο αποθετήριο) είναι αποκλειστική ευθύνη των αντίστοιχων Φορέων περιεχομένου.