On Descent Spectral CG algorithms for Training Recurrent Neural Networks

RDF 

 
Το τεκμήριο παρέχεται από τον φορέα :
Πανεπιστήμιο Πατρών
Αποθετήριο :
Νημερτής
δείτε την καρτέλα τεκμηρίου
μέσα από τον ιστότοπο του αποθετηρίου του φορέα *
κοινοποιήστε το τεκμήριο



Σημασιολογικός εμπλουτισμός/ομογενοποίηση από το EKT

2009 (EL)
On Descent Spectral CG algorithms for Training Recurrent Neural Networks

Πιντέλας, Παναγιώτης
Σωτηρόπουλος, Δημήτρης
Σιούτας, Σπύρος
Αποστολοπούλου, Μαριάννα
Λιβιέρης, Ιωάννης

Livieris, Ioannis
Apostolopoulou, Marianna
Sioutas, Spyros
Sotiropoulos, Dimitris
Pintelas, Panagiotis

Σε αυτήν την εργασία, αξιολογούμε την απόδοση των μεθόδων των καθοδικών συζυγών κλίσεων για την εκπαίδευση ανατροφοδοτούμενων νευρικών δικτύων. Οι προτεινόμενες μέθοδοι διατηρούν τα πλεονεκτήματα των κλασσικών μεθόδων συζυγών κλίσεων και εκμεταλλεύονται την απουσία των συχνά αναπαποτελεσματικών επανεκκινήσεων. Παρουσιάζονται επίσης αριθμητικά αποτελέσματα χρησιμοποιώντας τρεις διαφορετικούς τύπους ανατροφοδοτούμενων νευρωνικών δικτύων σε μια ποικιλία προβλημάτων βιοπληροφορικής.
In this paper, we evaluate the performance of a new class of conjugate gradient methods for training recurrent neural networks which ensure the sufficient descent property. The presented methods preserve the advantages of classical conjugate gradient methods and simultaneously avoid the usually inefficient restarts. Simulation results are also presented using three different recurrent neural network architectures in a variety of benchmarks.

Technical Report

Ανατροφοδοτούμενα νευρωνικά δίκτυα
Recurrent neural networks
Descent spectral conjugate gradient methods
Sufficient descent property

Πανεπιστήμιο Πατρών (EL)
University of Patras (EN)

2009-04-01
2010-04-08T08:06:36Z




*Η εύρυθμη και αδιάλειπτη λειτουργία των διαδικτυακών διευθύνσεων των συλλογών (ψηφιακό αρχείο, καρτέλα τεκμηρίου στο αποθετήριο) είναι αποκλειστική ευθύνη των αντίστοιχων Φορέων περιεχομένου.