1. Αρχική σελίδα
  2. Αναζήτηση

Nonlinear conjugate gradient methods for optimization and neural network training

Το τεκμήριο παρέχεται από τον φορέα :
Εθνικό Κέντρο Τεκμηρίωσης και Ηλεκτρονικού Περιεχομένου (ΕΚΤ)   

Αποθετήριο :
Εθνικό Αρχείο Διδακτορικών Διατριβών  | ΕΚΤ ΕΑΔΔ   

δείτε την πρωτότυπη σελίδα τεκμηρίου
στον ιστότοπο του αποθετηρίου του φορέα για περισσότερες πληροφορίες και για να δείτε όλα τα ψηφιακά αρχεία του τεκμηρίου*



Μη γραμμικές μέθοδοι συζυγών κλίσεων για βελτιστοποίηση και εκπαίδευση νευρωνικών δικτύων
Nonlinear conjugate gradient methods for optimization and neural network training
Livieris, Ioannis
Λιβιέρης, Ιωάννης
PhD Thesis
2012
The contribution of this thesis focuses on the development and the Mathematical foundation of new conjugate gradient methods for optimization and on the study of new neural network training algorithms and their applications. We propose two new conjugate gradient methods which are based on modified new secant equations with strong theoretical advantages. Moreover, they have the attractive property of ensuring sufficient descent, avoiding thereby the usual inefficient restarts. Further, we established the global convergence of our proposed methods for general functions. The second part of the thesis is dedicated on the development of new neural network training algorithms. We propose some new conjugate gradient training methods which guarantee sufficient descent and are globally convergent for general functions. Encouraging numerical experiments on famous benchmarks verify that our proposed methods provide fast, stable and reliable convergence, outperforming classical training methods.
Η συνεισφορά της παρούσας διατριβής επικεντρώνεται στην ανάπτυξη και στη Μαθηματική θεμελίωση νέων μεθόδων συζυγών κλίσεων για βελτιστοποίηση και στη μελέτη νέων μεθόδων εκπαίδευσης νευρωνικών δικτύων και εφαρμογών τους. Αναπτύσσουμε δύο νέες μεθόδους βελτιστοποίησης, οι οποίες ανήκουν στην κλάση των μεθόδων συζυγών κλίσεων. Οι νέες μέθοδοι βασίζονται σε τροποποιημένες εξισώσεις της τέμνουσας με ισχυρά θεωρητικά πλεονεκτήματα. Επιπλέον, μία σημαντική ιδιότητα και των δύο προτεινόμενων μεθόδων είναι ότι εγγυώνται επαρκή μείωση αποφεύγοντας τις συχνά αναποτελεσματικές επανεκκινήσεις. Επίσης, αποδείξαμε την ολική σύγκλιση των μεθόδων για μη κυρτές συναρτήσεις. Το δεύτερο μέρος της διατριβής είναι αφιερωμένο στην ανάπτυξη νέων μεθόδων εκπαίδευσης νευρωνικών δικτύων. Οι νέες προτεινόμενες μέθοδοι συζυγών κλίσεων εξασφάλιζαν επαρκή μείωση και σύγκλιναν ολικά για μη κυρτές συναρτήσεις. Τα αριθμητικά αποτελέσματα επαληθεύουν ότι οι προτεινόμενες μέθοδοι παρέχουν γρήγορη, σταθερότερη και πιο αξιόπιστη σύγκλιση, υπερτερώντας των κλασικών μεθόδων εκπαίδευσης.
Μαθηματικά
Επιστήμη Ηλεκτρονικών Υπολογιστών και Πληροφορική
Φυσικές Επιστήμες
Νευρωνικά δίκτυα
Unconstrained optimization
Αλγόριθμοι εκπαίδευσης
Βελτιστοποίηση χωρίς περιορισμούς
Μαθηματικά
Conjugate gradient methods
Mathematics
Computer and Information Sciences
Φυσικές Επιστήμες
Neural networks
Training algorithms
Επιστήμη Ηλεκτρονικών Υπολογιστών και Πληροφορική
Natural Sciences
Μέθοδοι συζυγών κλίσεων
Ελληνική γλώσσα
Πανεπιστήμιο Πατρών
University of Patras
Πανεπιστήμιο Πατρών. Σχολή Θετικών Επιστημών. Τμήμα Μαθηματικών
Εθνικό Κέντρο Τεκμηρίωσης και Ηλεκτρονικού Περιεχομένου (ΕΚΤ)
Εθνικό Αρχείο Διδακτορικών Διατριβών
Συλλογή ΕΑΔΔ



*Η εύρυθμη και αδιάλειπτη λειτουργία των διαδικτυακών διευθύνσεων των συλλογών (ψηφιακό αρχείο, καρτέλα τεκμηρίου στο αποθετήριο) είναι αποκλειστική ευθύνη των αντίστοιχων Φορέων περιεχομένου.