On Descent Spectral CG algorithms for Training Recurrent Neural Networks

Το τεκμήριο παρέχεται από τον φορέα :
Πανεπιστήμιο Πατρών   

Αποθετήριο :
Νημερτής   

δείτε την πρωτότυπη σελίδα τεκμηρίου
στον ιστότοπο του αποθετηρίου του φορέα για περισσότερες πληροφορίες και για να δείτε όλα τα ψηφιακά αρχεία του τεκμηρίου*



On Descent Spectral CG algorithms for Training Recurrent Neural Networks (EN)

Πιντέλας, Παναγιώτης
Σωτηρόπουλος, Δημήτρης
Σιούτας, Σπύρος
Αποστολοπούλου, Μαριάννα
Λιβιέρης, Ιωάννης

Livieris, Ioannis (EN)
Apostolopoulou, Marianna (EN)
Sioutas, Spyros (EN)
Sotiropoulos, Dimitris (EN)
Pintelas, Panagiotis (EN)

Technical Report (EN)

2009-04-01 (EN)
2010-04-08T08:06:36Z (EN)


In this paper, we evaluate the performance of a new class of conjugate gradient methods for training recurrent neural networks which ensure the sufficient descent property. The presented methods preserve the advantages of classical conjugate gradient methods and simultaneously avoid the usually inefficient restarts. Simulation results are also presented using three different recurrent neural network architectures in a variety of benchmarks. (EN)
Σε αυτήν την εργασία, αξιολογούμε την απόδοση των μεθόδων των καθοδικών συζυγών κλίσεων για την εκπαίδευση ανατροφοδοτούμενων νευρικών δικτύων. Οι προτεινόμενες μέθοδοι διατηρούν τα πλεονεκτήματα των κλασσικών μεθόδων συζυγών κλίσεων και εκμεταλλεύονται την απουσία των συχνά αναπαποτελεσματικών επανεκκινήσεων. Παρουσιάζονται επίσης αριθμητικά αποτελέσματα χρησιμοποιώντας τρεις διαφορετικούς τύπους ανατροφοδοτούμενων νευρωνικών δικτύων σε μια ποικιλία προβλημάτων βιοπληροφορικής.


Recurrent neural networks (EN)
Descent spectral conjugate gradient methods (EN)
Sufficient descent property (EN)
Ανατροφοδοτούμενα νευρωνικά δίκτυα





*Η εύρυθμη και αδιάλειπτη λειτουργία των διαδικτυακών διευθύνσεων των συλλογών (ψηφιακό αρχείο, καρτέλα τεκμηρίου στο αποθετήριο) είναι αποκλειστική ευθύνη των αντίστοιχων Φορέων περιεχομένου.