On Descent Spectral CG algorithms for Training Recurrent Neural Networks

 
Το τεκμήριο παρέχεται από τον φορέα :

Αποθετήριο :
Νημερτής
δείτε την πρωτότυπη σελίδα τεκμηρίου
στον ιστότοπο του αποθετηρίου του φορέα για περισσότερες πληροφορίες και για να δείτε όλα τα ψηφιακά αρχεία του τεκμηρίου*
κοινοποιήστε το τεκμήριο




2009 (EL)

On Descent Spectral CG algorithms for Training Recurrent Neural Networks

Πιντέλας, Παναγιώτης
Σωτηρόπουλος, Δημήτρης
Σιούτας, Σπύρος
Αποστολοπούλου, Μαριάννα
Λιβιέρης, Ιωάννης

Livieris, Ioannis
Apostolopoulou, Marianna
Sioutas, Spyros
Sotiropoulos, Dimitris
Pintelas, Panagiotis

Σε αυτήν την εργασία, αξιολογούμε την απόδοση των μεθόδων των καθοδικών συζυγών κλίσεων για την εκπαίδευση ανατροφοδοτούμενων νευρικών δικτύων. Οι προτεινόμενες μέθοδοι διατηρούν τα πλεονεκτήματα των κλασσικών μεθόδων συζυγών κλίσεων και εκμεταλλεύονται την απουσία των συχνά αναπαποτελεσματικών επανεκκινήσεων. Παρουσιάζονται επίσης αριθμητικά αποτελέσματα χρησιμοποιώντας τρεις διαφορετικούς τύπους ανατροφοδοτούμενων νευρωνικών δικτύων σε μια ποικιλία προβλημάτων βιοπληροφορικής.
In this paper, we evaluate the performance of a new class of conjugate gradient methods for training recurrent neural networks which ensure the sufficient descent property. The presented methods preserve the advantages of classical conjugate gradient methods and simultaneously avoid the usually inefficient restarts. Simulation results are also presented using three different recurrent neural network architectures in a variety of benchmarks.

Technical Report

Ανατροφοδοτούμενα νευρωνικά δίκτυα
Recurrent neural networks
Descent spectral conjugate gradient methods
Sufficient descent property


Αγγλική γλώσσα

2009-04-01
2010-04-08T08:06:36Z





*Η εύρυθμη και αδιάλειπτη λειτουργία των διαδικτυακών διευθύνσεων των συλλογών (ψηφιακό αρχείο, καρτέλα τεκμηρίου στο αποθετήριο) είναι αποκλειστική ευθύνη των αντίστοιχων Φορέων περιεχομένου.