Spectral conjugate gradient methods with sufficient descent property for neural network training

RDF 

 
Το τεκμήριο παρέχεται από τον φορέα :
Πανεπιστήμιο Πατρών
Αποθετήριο :
Νημερτής
δείτε την καρτέλα τεκμηρίου
μέσα από τον ιστότοπο του αποθετηρίου του φορέα *
κοινοποιήστε το τεκμήριο



Σημασιολογικός εμπλουτισμός/ομογενοποίηση από το EKT

2008 (EL)
Spectral conjugate gradient methods with sufficient descent property for neural network training

Πιντέλας, Παναγιώτης
Λιβιέρης, Ιωάννης

Livieris, Ioannis
Pintelas, Panagiotis

Conjugate gradient methods constitute an excellent choice for efficiently training large neural networks since they don't require the evaluation of the Hessian matrix neither the impractical storage of an approximation of it. Despite the theoretical and practical advantages of these methods their main drawback is the use of restarting procedures in order to guarantee convergence, abandoning second order derivative information. In this work, we propose a neural network training algorithm which preserves the advantages of classical conjugate gradient methods and simultaneously avoids the inefficient restarts. Encouraging numerical experiments verify that the presented algorithm provides fast, stable and reliable convergence.
Σε αυτήν την εργασία, αξιολογούμε την απόδοση μιας νέας κλάσης μεθόδων συζυγών κλίσεων για την εκπαίδευση νευρικών δικτύων. Οι προτεινόμενες μέθοδοι διατηρούν τα πλεονεκτήματα των κλασσικών μεθόδων συζυγών κλίσεων και εκμεταλλεύονται την απουσία των συχνά αναπαποτελεσματικών επανεκκινήσεων. Τα ενθαρρυντικά αριθμητικά αποτελέσματα επαληθεύουν ότι οι προτεινόμενες μέθοδοι παρέχουν γρηγορότερη, σταθερότερη και πιο αξιόπιστη σύγκλιση.

Technical Report

Νευρωνικά δίκτυα
Descent spectral conjugate gradient methods
Truncate strategy
Neural networks
Sufficient descent property
Μέθοδοι συζυγών κλίσεων

Πανεπιστήμιο Πατρών (EL)
University of Patras (EN)

2008-09-01
2010-04-08T08:12:20Z




*Η εύρυθμη και αδιάλειπτη λειτουργία των διαδικτυακών διευθύνσεων των συλλογών (ψηφιακό αρχείο, καρτέλα τεκμηρίου στο αποθετήριο) είναι αποκλειστική ευθύνη των αντίστοιχων Φορέων περιεχομένου.