Η παρούσα διατριβή ασχολείται με τη μελέτη και την ανάπτυξη μοντέλων τα-
ξινόμησης τα οποία ϐασίζονται στα Πιθανοτικά Νευρωνικά Dίκτυα (ΠΝD). Τα προ-
τεινόμενα μοντέλα αναπτύχθηκαν ενσωματώνοντας στατιστικές μεθόδους αλλά και
μεθόδους από διάφορα πεδία της Υπολογιστικής Νοημοσύνης (ΥΝ). Η παρουσία-
ση των επιμέρους ϑεμάτων και αποτελεσμάτων της διατριβής αυτής οργανώνεται ως
εξής :
Στο Κεφάλαιο 1 παρουσιάζουμε τα απαιτούμενα ϑεωρητικά στοιχεία της στατι-
στικής ϑεωρίας αποφάσεων σε προβλήματα ταξινόμησης. Επιπλέον, παρέχεται μια
σύνοψη των ϐασικών κανόνων ταξινόμησης και των συναρτήσεων διαχωρισμού.
Το Κεφάλαιο 2 αφιερώνεται στην παρουσίαση των εννοιών που απαρτίζουν την
ΥΝ. Ιδιαίτερη μνεία γίνεται στις μεθόδους ϐελτιστοποίησης της ΥΝ και συγκεκριμένα
στη Βελτιστοποίηση με Σμήνος Σωματιδίων (ΒΣΣ) και στους Dιαφοροεξελικτικούς αλ-
γόριθμους (DΕΑ). Στη συνέχεια, παρουσιάζονται εν συντομία τα Τεχνητά Νευρωνικά
Dίκτυα (ΤΝD) και ειδικότερα τα ΠΝD για τα οποία γίνεται μια εκτενής αναφορά για
τη δομή, τη λειτουργία, τη χρησιμότητα και τις ποικίλες εφαρμογές τους. Επίσης,
παρουσιάζονται και αρκετές παραλλαγές των ΠΝD.
Στο Κεφάλαιο 3 παρέχεται μια σύντομη περιγραφή των τυπικών μεθόδων επα-
ναδειγματοληψίας που απαιτούνται σε προβλήματα μηχανικής μάθησης. Επιπλέον,
παρουσιάζεται η απαιτούμενη μεθοδολογία στατιστικών συγκρίσεων για αλγόριθμους
ταξινόμησης σε ένα αλλά και σε πολλαπλά πεδία εφαρμογών.
Στο Κεφάλαιο 4 προτείνεται μια νέα κλάση μοντέλων ταξινόμησης τα οποία απο-
τελούν μια παραλλαγή των ΠΝD. Συγκεκριμένα, εξελικτικοί αλγόριθμοι ϐελτιστοποί-
ησης ενσωματώνονται στο ΠΝD για την αναζήτηση ϐέλτιστων τιμών των παραμέτρων
λείανσης των συναρτήσεων πυρήνων του ΠΝD. Για τον σκοπό αυτό χρησιμοποιείται
η ΒΣΣ και οι DΕΑ και τα νέα μοντέλα καλούνται Εξελικτικά ΠΝD (ΕΠΝD).
Στο Κεφάλαιο 5 παρουσιάζεται μια σειρά ϐελτιώσεων των ΕΠΝD ως προς την από-
δοση αλλά και τον απαιτούμενο χρόνο εκπαίδευσης των. Χρησιμοποιώντας μεθόδους
ομαδοποίησης (clustering) χωρίς επίβλεψη, κατασκευάζουμε ένα Βελτιωμένο ΕΠΝD
(ΒΕΠΝD) το οποίο απαιτεί πολύ μικρότερο χρόνο εκπαίδευσης. Για την περαιτέρω
ϐελτίωση του ΕΠΝD χρησιμοποιείται η τεχνική bagging και επιπλέον επιτρέπουμε σε
κάθε κλάση δεδομένων να έχει διαφορετικές παραμέτρους λείανσης στους πυρήνες
των ΠΝD.
Το Κεφάλαιο 6 παρέχει αρχικά μια σύντομη περίληψη των ϐασικών εννοιών της
Μπεϋζιανής Ανάλυσης. Στη συνέχεια, προτείνεται ένα Μπεϋζιανό μοντέλο για την
εκτίμηση των παραμέτρων λείανσης των ΠΝD η οποία επιτυγχάνεται μέσω του Dειγ-
vi
ματολήπτη Gibbs. Το προαναφερθέν μοντέλο ενσωματώνεται στα ΠΝD και ΕΠΝD,
προτείνοντας μια κλάση μοντέλων τα οποία καλούνται Μπεϋζιανά ΠΝD (ΜΠΝD). Τέ-
λος, μελετάται και η χρήση του πυρήνα του Epanechnikov στα ΠΝD εκτός από τον
πυρήνα κανονικής κατανομής
Το πρώτο μέρος του Κεφαλαίου 7 παρέχει μια σύντομη εισαγωγή στη ϑεωρία
των Ασαφών Συνόλων. Αρχικά, χρησιμοποιούμε μια Ασαφή Συνάρτηση Συμμετοχής
χρησιμοποιείται για την περαιτέρω ϐελτίωση της απόδοσης των ΕΠΝD σε προβλήματα
ταξινόμησης δύο κλάσεων και το μοντέλο που προκύπτει καλείται Ασαφές ΕΠΝD
(ΑΕΠΝD). Επιπρόσθετα, προτείνεται ένας αλγόριθμος διάσπασης ενός προβλήματος
πολλαπλών κλάσεων σε προβλήματα δύο κλάσεων έτσι ώστε να μπορεί να εφαρμοστεί
το ΑΕΠΝD και σε τέτοιου είδους προβλήματα.
Η παρουσίαση της διατριβής ολοκληρώνεται με το Κεφάλαιο 8 και το Παράρτημα
Α. Στο Κεφάλαιο 8 παρουσιάζεται η σύγκριση των νέων μοντέλων ταξινόμησης μεταξύ
τους. Επίσης, τα προτεινόμενα μοντέλα συγκρίνονται και με τα μοντέλα άλλων ερευ-
νητών που έχουν πετύχει τα καλύτερα αποτελέσματα στα συγκεκριμένα προβλήματα
ταξινόμησης. Το Παράρτημα Α περιέχει μια σύντομη περιγραφή των προβλημάτων
ταξινόμησης και των δεδομένων που χρησιμοποιήθηκαν στην παρούσα διατριβή, για
τη σύγκριση των προτεινόμενων μοντέλων.
The present thesis is dealing with the study and the development of classification
models that are based on Probabilistic Neural Networks (PNN). The proposed
models were developed by the incorportation of statistical methods as well as
methods from several fields of Computational Intelligence (CI) into PNNs. The
presentation of the subjects and the results of the dissertation is organized as
follows:
In Chapter 1 the required theoretical elements of the statistical decision theory
in classification tasks is presented. Moreover, a summary of the most common
decision rules and discriminant functions is provided.
Chapter 2 is devoted in the presentation of the concepts that consist CI. Special
credit is given to the optimization methods of CI and especially to Particle Swarm
Optimization (PSO) and Differential Evolution Algorithms (DEA). Furthermore,
Artificial Neural Networks are briefly presented and a thorough presentation about
PNNs is provided regarding the structure, the operation, the usefulness and their
various applications. Several known variants of PNNs are also exhibited.
Chapter 3 provides a brief description of the typical resampling methods that
are necessary for machine learning classification problems. Moreover, the required
methodology for the statistical comparisons of classification algorithms on one
or several application tasks is presented.
In Chapter 4 a novel class of classification models that comprise variants of
PNNs is proposed. In particular, evolutionary optimization algorithms are incorporated
into PNN for the pursuit of promising values for the spread parameters of
its kernel functions. For this purpose, PSO and DEA are employed and the new
models are named Evolutionary PNNs (EPNN).
In the next chapter, a list of improvements for EPNNs is proposed regarding
their performance and required training time. Using unsupervised clustering methods,
a new Improved EPNN (IEPNN) is constructed that requires much shorter
training time. For further improvement of EPNN’s performance, the bagging technique
is also employed. Moreover, a different spread parameters’ matrix of PNNs’
kernels is used for every class of the available data.
In Chapter 6 a brief summary of the fundamental concepts of Bayesian Analysis
is provided. Afterwards, a Bayesian model is proposed for the estimation
of PNN’s spread parameters where the estimation is achieved by Gibbs sampler.
The aforementioned model is incorporated into PNNs and EPNNs, proposing a new
class of models that are named Bayesian PNNs (BPNN). Moreover, we study the
viii
use of Epanechnikov’s kernel function besides the normal kernel.
In the first part of Chapter 7 a short review on the theory of Fuzzy Sets is
provided. A Fuzzy Membership Function is employed for the further improvement
of EPNN’s performance in binary classification tasks and the proposed model
is named Fuzzy EPNN (FEPNN). Furthermore, we propose a new decomposition
algorithm that converts multi–class classification problems into multiple binary
classification ones. Utilizing this algorithm, FEPNNs can also be applied on multi–
class classification problems.
This dissertation is completed with Chapter 8 and Appendix A. In the last
chapter, a comparison between all the novel models takes place. Moreover, the
proposed models are compared to the model that has achieved the greatest performance
ever for each classification problem. In Appendix A, we provide a short
description of all the classification problems that were used in this thesis for the
evaluation of the proposed models
Εθνικό Κέντρο Τεκμηρίωσης και Ηλεκτρονικού Περιεχομένου (ΕΚΤ)
