A memoryless BFGS neural network training algorithm

RDF 

 
Το τεκμήριο παρέχεται από τον φορέα :
Πανεπιστήμιο Πατρών
Αποθετήριο :
Νημερτής
δείτε την καρτέλα τεκμηρίου
μέσα από τον ιστότοπο του αποθετηρίου του φορέα *
κοινοποιήστε το τεκμήριο



Σημασιολογικός εμπλουτισμός/ομογενοποίηση από το EKT

2009 (EL)
A memoryless BFGS neural network training algorithm

Panagiotis, Pintelas
Marianna, Apostolopoulou
Dimitris, Sotiropoulos
Ioannis, Livieris

Ιωάννης, Λιβιέρης
Δημήτρης, Σωτηρόπουλος
Παναγιώτης, Πιντέλας
Μαριάννα, Αποστολοπούλου

We present a new curvilinear algorithmic model for training neural networks which is based on a modifications of the memoryless BFGS method that incorporates a curvilinear linesearch. The proposed model exploits the nonconvexity of the error surface based on information provided by the eigensystem of memoryless BFGS matrices using a pair of directions; a memoryless quasi-Newton direction and a direction of negative curvature. In addition, the computation of the negative curvature direction is accomplished avoiding any storage and matrix factorization. Simulations results verify that the proposed modification significantly improves the efficiency of the training process.
Σε αυτή την εργασία, προτείνουμε ένα νέο αλγοριθμικό μοντέλο για την εκπαίδευση νευρωνικών δικτύων βασισμένο σε μια τροποποίηση της μεθόδου BFGS χωρίς μνήμη το οποίο ενσωματώνει καμπυλόγραμμη αναζήτηση. Το προτεινόμενο μοντέλο ενσωματώνει τη μη-κυρτότητα της συνάρτησης σφάλματος αντλώντας πληροφορίες από το ιδιοσύστημα των πινάκων BFGS χωρίς μνήμη και χρησιμοποιεί ένα ζεύγος κατευθύνσεων: μια κατεύθυνση quasi-Newton χωρίς μνήμη και μια κατεύθυνση αρνητικής κυρτότητας. Επιπλέον, ο υπολογισμός της κατεύθυνσης της αρνητικής κυρτότητας πραγματοποιείται αποφεύγοντας την αποθήκευση και την παραγοντοποίηση πίνακα. Τα αριθμητικά αποτελέσματα επαληθεύουν ότι η προτεινόμενη μέθοδος βελτιώνει σημαντικά την αποδοτικότητα της διαδικασίας εκπαίδευσης.

Technical Report

Νευρωνικά δίκτυα
Κατεύθυνση αρνητικής κυρτότητας
Negative curvature direction
Neural networks
Curvilinear linesearch
Memoryless BFGS

Πανεπιστήμιο Πατρών (EL)
University of Patras (EN)

2010-03-08T08:35:14Z
2009-01-17




*Η εύρυθμη και αδιάλειπτη λειτουργία των διαδικτυακών διευθύνσεων των συλλογών (ψηφιακό αρχείο, καρτέλα τεκμηρίου στο αποθετήριο) είναι αποκλειστική ευθύνη των αντίστοιχων Φορέων περιεχομένου.