Local φ-divergences in statistical information theory with applications to hypothesis testing and model selection

Τοπικές φ-αποκλίσεις στη στατιστική θεωρία πληροφοριών και εφαρμογές σε ελέγχους στατιστικών υποθέσεων και επιλογής μοντέλου

Local φ-divergences in statistical information theory with applications to hypothesis testing and model selection

Avlogiaris, Georgios

Αυλογιάρης, Γεώργιος

PhD Thesis

2017

Η Διατριβή αποτελείται από πέντε Κεφάλαια, περίληψη της διατριβής στην αγγλική γλώσσα και τη Βιβλιογραφία. Στο πρώτο εισαγωγικό κεφάλαιο γίνεται μια σύντομη ανασκόπηση σε μέτρα φ-απόκλισης καθώς και σε έννοιες που είναι απαραίτητες για την ανάπτυξη και μελέτη των επόμενων κεφαλαίων. Tο Κεφάλαιο 2 επικεντρώνεται στον ορισμό μιας ευρείας κλάσης μέτρων τοπικής απόκλισης (local divergence measures) μεταξύ δύο μέτρων πιθανότητας ή μεταξύ των αντίστοιχων συναρτήσεων πυκνότητας πιθανότητας. Οι εισαχθείσες τοπικές αποκλίσεις βασίζονται στην κλασική απόκλιση του Csiszár και αποδίδουν ένα μέτρο της ψευτο-απόστασης (ή στατιστικής απόστασης ή απόκλισης) μεταξύ δύο κατανομών σε μία συγκεκριμένη περιοχή του κοινού πεδίου ορισμού τους. Κατ’ αυτόν τον τρόπο παρέχουν ένα χρήσιμο εργαλείο για την ποσοτικοποίηση της στατιστικής απόστασης μεταξύ δύο κατανομών, τοπικά, σε μια συγκεκριμένη δηλαδή περιοχή του κοινού πεδίου ορισμού τους, η οποία παρουσιάζει ενδιαφέρον τόσο από θεωρητική πλευρά όσο και στο επίπεδο των εφαρμογών. Επιπλέον στο Κεφάλαιο 2 μελετάται το σύνολο τιμών των τοπικών αποκλίσεων που παρουσιάζονται και προσδιορίζονται, περαιτέρω, οι αναλυτικές εκφράσεις των προτεινόμενων τοπικών αποκλίσεων, όταν οι κατανομές στις οποίες στηρίζονται είναι μέλη της εκθετικής οικογένειας κατανομών και όταν ταυτίζονται με εκείνες της πολυδιάστατης κανονικής κατανομής. Το Κεφάλαιο 2 ολοκληρώνεται με μελέτες προσομοίωσης που αποτυπώνουν την εύρωστη συμπεριφορά των μέτρων τοπικής απόκλισης. Το Κεφάλαιο 3 επικεντρώνεται στην κατασκευή και μελέτη παραμετρικών στατιστικών τεστ για τον έλεγχο καλής προσαρμογής (one sample problem) και τον έλεγχο ομοιογένειας (two samples problem), τοπικά, σε ένα υποσύνολο του πεδίου ορισμού των υπό θεώρηση κατανομών. Αναλυτικότερα, προσδιορίζονται οι στατιστικές συναρτήσεις, καθώς και οι ασυμπτωτικές του κατανομές υπό τη μηδενική υπόθεση η οποία μπορεί να είναι απλή η σύνθετη. Επιπλέον, στο Κεφάλαιο 3 με μελέτες προσομοίωσης διερευνάται η αποτελεσματικότητα των εισαγόμενων τοπικών παραμετρικών ελέγχων έχοντας ως κριτήρια το σφάλμα τύπου Ι και την ισχύ του ελέγχου. Διερευνάται επίσης, η συμπεριφορά των προτεινόμενων στατιστικών τεστ σε πραγματικά δεδομένα. Στο Κεφάλαιο 4 εισάγεται η έννοια της τοπικής επιλογής μοντέλου, και το τοπικό κριτήριο LDiv.IC (Local Divergence Information Criterion) χρησιμοποιώντας την τοπική εκδοχή της απόκλισης των Basu et al. (1998). Το παραπάνω μέτρο απόκλισης χρησιμοποιήθηκε γιατί πληροί κάποιες χαρακτηριστικές ιδιότητες και κρίθηκε κατ΄ αυτόν τον τρόπο κατάλληλο στη δημιουργία κριτηρίων πληροφορίας για την τοπική επιλογή μοντέλου (local model selection). Επιπρόσθετα στο Κεφάλαιο 4 παρατίθενται τα αποτελέσματα μελετών προσομοίωσης για τη διερεύνηση της συμπεριφοράς του τοπικού κριτηρίου επιλογής μοντέλου καθώς και αποτελέσματα εφαρμογής του σε πραγματικά δεδομένα. Τέλος, στο Κεφάλαιο 5 δίνονται προτάσεις για περαιτέρω έρευνα στην περιοχή της Στατιστικής Θεωρίας Πληροφοριών.

The Dissertation consists of five Chapters the summary of the dissertation in English and the Bibliography. In the first introductory chapter, a brief review on the φ-divergence measures is given as well as the concepts that are necessary for the development and study of the following chapters. Chapter 2 focuses on the definition of a broad class of local divergence measures between two probability measures or between the corresponding densities. The local divergences developed are based on the classical Csiszar divergence and provide a measure of the pseudo-distance (or statistical distance or divergence) between two distributions in a specific area of their joint domain. In this way they provide a useful tool for the quantification of the statistical distance between two distributions, locally, in a specific area of their joint domain. In addition, in Chapter 2 the range of values of the local divergences are studied and the analytical expressions of the proposed local divergences are further determined when the distributions are members of the exponential family and the case of the multivariate normal distribution is also considered. Chapter 2 exemplifies the methodology via a simulation study which illustrates the robust behavior of the proposed local divergence measures in identifying the discrepancies between two populations which cannot be captured using classical global measures. Chapter 3 focuses on the construction and study of parametric statistical tests for goodness of fit (one sample problem) and tests of homogeneity (two sample problem), locally, in a subset of the domain of the distributions under consideration. More precisely, test statistics are defined and their asymptotic distributions are obtained under the null hypothesis. In addition, in Chapter 3 the effectiveness of the developed local parametric tests are investigated by means of simulation studies based on their type I error and power. The behavior of the proposed statistical tests has also been investigated via real data. In Chapter 4, a local model selection criterion (LDiv.IC) is developed and studied using the local BHHJ power divergence. We focus on the BHHJ measures of divergence because their functional expression is particularly useful in the construction of the criterion. Moreover in Chapter 4, simulations are presented in order to evaluate the performance of the proposed model selection criterion in a local setting and three applications of the proposed methodology are given by analyzing real datasets. In Chapter 5, we provide suggestions for further research and possible extensions of this work are indicated, along with and some open problems left to consider in this context.

Φυσικές Επιστήμες ➨ Μαθηματικά

Point process theory

Απόκλιση Cressie and Read

Local divergence

Local BHHJ power divergence

Τοπικό στατιστικό ελέγχου Wald

Τοπικό κριτήριο επιλογής μοντέλου

Επιλογή μοντέλου

Μαθηματικά

Kullback-Leibler divergence

Mathematics

Τοπικός έλεγχος καλής προσαρμογής

Local homogeneity test

Φυσικές Επιστήμες

Κριτήριο πληροφορίας τοπικής απόκλισης

φ-απόκλιση

Εκθετική οικογένεια κατανομών

Απόκλιση BHHJ

φ-divergence

Local model selection criterion

Απόκλιση Csiszar

Mixture models

Local expected overall discrepancy

Τοπική απόκλιση BHHJ

AIC

Natural Sciences

Local divergence information criterion

Local model selection

LDiv.IC

Τοπικό στατιστικό ελέγχου Rao

Τοπικός πίνακας πληροφορίας Fisher

Model selection

Cressie and Read power divergence

Απόκλιση Kullback-Leibler

Local goodness of fit test

Local Rao and Wald tests

LAIC

Τοπική επιλογή μοντέλου

Θεωρία point process

Τοπική αναμενόμενη συνολική διαφορά

Τοπικός έλεγχος ομοιογένειας

Csiszar divergence

Local Fisher information matrix

Μοντέλα μείξης

Local φ-divergence test

Exponential family

Τοπικό στατιστικό ελέγχου φ-απόκλισης

Τοπική απόκλιση

BHHJ power divergence

Greek

Πανεπιστήμιο Ιωαννίνων

University of Ioannina

Πανεπιστήμιο Ιωαννίνων. Σχολή Θετικών Επιστημών. Τμήμα Μαθηματικών. Τομέας Πιθανοτήτων, Στατιστικής και Επιχειρησιακής Έρευνας

National Documentation Centre (EKT)

National Archive of PhD Theses

Συλλογή ΕΑΔΔ