In this thesis, spiking neural networks are studied in two contexts -- one in a functional role where the network is trained with reinforcement learning, and second in a descriptive context studying the emergent self-organised criticality (SOC) property of the network.
Recent advances in neural networks incorporating reinforcement learning, especially deep reinforcement learning, have set new expectations for the future of this field. However, these new advances have not been implemented yet with spiking neural networks for high dimensional tasks. In this thesis, we try to achieve this level of performance on such a task. Specifically, we train a spiking neural network to play Pong - a simple video game - with reinforcement learning. After training, the spiking neural network is able to play Pong at a basic level and score against its opponent occasionally. In the second part, we study and implement the setup from the paper "Synaptic Plasticity Enables Adaptive Self-Tuning Critical Networks". Particularly, the goal is to reproduce the result that a spiking neural network consisting of integrate and fire neurons and synapses with spiking timing-dependent plasticity and short-term plasticity dynamics exhibits self-organising criticality, such that the network operates in the critical regime after the self-organisation. Criticality is characterised by the scaling factor of the distribution of the size of neuronal avalanches in the network, the distribution's scaling factor of the Detrended Fluctuation Analysis (DFA) and the branching ratio.
(EL)
Σε αυτή τη διπλωματική μελετώνται τα ακμοπυροδοτούμενα νευρωνικά δίκτυα σε δύο πλαίσια - πρώτα σε ένα λειτουργικό πλαίσιο, όπου το δίκτυο εκπαιδεύεται με ενισχυτική μάθηση και κατά δεύτερον σε ένα περιγραφικό πλαίσιο, που μελετάται η ιδιότητα της αυτοοργανωτικής κρισιμότητας του δικτύου. Οι πρόσφατες εξελίξεις στα νευρωνικά δίκτυα που ενσωματώνουν την ενισχυτική μάθηση (Reinforcement Learning), και ιδιαίτερα την βαθιά ενισχυτική μάθηση (deep reinforcement learning), έχουν θέσει νέες προσδοκίες για το μέλλον αυτού του πεδίου. Ωστόσο, αυτές οι νέες εξελίξεις δεν έχουν ακόμη εφαρμοστεί ακόμα σε ακμοπυροδοτούμενα νευρωνικά δίκτυα για προβλήματα μεγάλης διαστατικότητας. Σε αυτή τη διπλωματική εργασία, προσπαθούμε να επιτύχουμε αυτό το επίπεδο απόδοσης σε ένα τέτοιο πρόβλημα. Συγκεκριμένα, εκπαιδεύουμε ένα ακμοπυροδοτούμενο νευρωνικό δίκτυο να παίζει Pong με ενισχυτική μάθηση. Μετά την προπόνηση, το νευρωνικό δίκτυο είναι ικανό να μάθει να παίζει Pong σε ένα βασικό επίπεδο και να ``σκοράρει'' ενάντια στον αντίπαλο περιστασιακά. Στο δεύτερο μέρος, μελετάμε και υλοποιούμε την διάταξη του άρθρου "Synaptic Plasticity Enables Adaptive Self-Tuning Critical Networks". Ειδικότερα, ο στόχος είναι να αναπαραχθεί το αποτέλεσμα ότι ένα ακμοπυροδοτούμενο νευρωνικό δίκτυο, που αποτελείται από integrate and fire νευρώνες και συνάψεις με πλαστικότητα, που εξαρτάται από το χρονισμό των κορυφών και βραχυπρόθεσμη δυναμική παρουσιάζει αυτοοργανωτική κρισιμότητα, με την έννοια ότι το δίκτυο λειτουργεί στο κρίσιμο καθεστώς μετά την αυτό-οργάνωση του. Η κρισιμότητα χαρακτηρίζεται από τον συντελεστή κλιμάκωσης της κατανομής του μεγέθους των νευρωνικών ``χιονοστιβάδων'' (Neuronal Avalanches) στο δίκτυο, τον συντελεστή κλιμάκωσης της κατανομής της ανάλυσης αποσταθεροποιημένης διακύμανσης (Detrended Fluctuation Analysis) και τον λόγο διακλάδωσης (Branching ratio).
(EL)
Πανεπιστήμιο Πατρών
