Η Μηχανική Μάθηση (Machine learning) έχει κερδίσει σημαντικό έδαφος τόσο στον τομέα της Χημείας όσο και στην Επιστήμη των Υλικών (Materials Science), προσφέροντας λύσεις σε σύγχρονες προκλήσεις όπως τη πρόβλεψη ιδιοτήτων (property prediction), την εύρεση μονοπατιών αντιδράσεων (reaction pathway exploration) και τον μοριακό σχεδιασμό (molecular design). Προϋπόθεση για την πλήρη αξιοποίηση των δυνατοτήτων της Μηχανικής Μάθησης είναι η σε βάθος κατανόηση της γλώσσας της Χημείας. Οι Αλγόριθμοι Μηχανικής Μάθησης πρέπει να μπορούν να μεταφράσουν τις χημικές ιδιότητες των μορίων, καθώς και να δημιουργήσουν χημικές δομές, παρέχοντας τη δυνατότητα λήψης σημαντικών αποφάσεων. Το Featurization παίζει σημαντικό ρόλο στην αναπαράσταση των μορίων (molecules) που δίνονται σαν είσοδος στα μοντέλα Μηχανικής Μάθησης. Η πρόκληση έγκειται στον σωστό σχεδιασμό των features των χημικών μορίων, καθώς και των χημικών αντιδράσεων τους. Έτσι, απαραίτητη για την ακριβή μοντελοποίηση είναι μία σωστή και κατάλληλη αναπαράσταση που συνδυάζει όλες τις οντότητες φιλτράροντας τον “θόρυβο”. Η επιλογή της κατάλληλης αναπαράστασης δεν θα πρέπει απλώς να διευκολύνει την εκμάθηση προτύπων (patterns), αλλά παράλληλα θα πρέπει να παρέχει και interpretability (πρόκειται για μετρική στη Μηχανική Μάθηση), ενισχύοντας την απόδοση του μοντέλου, καθώς και τη λήψη των αποφάσεων. Αναπτύσσοντας expressive features, οι ερευνητές μπορούν να εξερευνήσουν τεράστιους χημικούς χώρους, να προβλέψουν ιδιότητες νέων ενώσεων και να προωθήσουν την καινοτομία σε άλλους κλάδους. Έτσι, λοιπόν, στο παρόν άρθρο παρουσιάζω ποικίλους τρόπους αναπαράστασης (featurization representations) των μορίων ως είσοδο στα μοντέλα Μηχανικής Μάθησης, για να έχει ο αναγνώστης μία ολοκληρωμένη εικόνα. Μέσα από μια πλήρη ανασκόπηση της υπάρχουσας βιβλιογραφίας για αυτό το θέμα και σε συνδυασμό με το δικό μας πείραμα που πραγματοποιήθηκε από τον συνάδελφό μου, Νικόλαο Παυλίδη, και εμένα, οι αναγνώστες μπορούν να συγκρίνουν τα αποτελέσματα και να προσδιορίσουν τον πιο αποτελεσματικό συνδυασμό της featurization method για την αναπαράσταση των μορίων ως είσοδο στα μοντέλα Μηχανικής Μάθησης και των αλγορίθμων Μηχανικής Μάθησης (Featurizers). Στο πείραμα μας, αξιολογήσαμε δέκα διαφορετικούς featurization αλγορίθμους και πέντε μοντέλα Μηχανικής Μάθησης για εργασίες ταξινόμησης (classification). Επί πρόσθετα, εξετάσαμε τις διαφορές μεταξύ των δύο πιο δημοφιλών κατηγοριών featurization representation που είναι οι γράφοι και οι γραμμικές αναπαραστάσεις. Τα αποτελέσματα μας, δείχνουν τη σημασία της επιλογής της κατάλληλης μεθόδου featurization που εξαρτάται τόσο από τα χαρακτηριστικά του μοντέλου Μηχανικής Μάθησης όσο και από το dataset. Είναι σημαντικό ότι τα αποτελέσματά μας δείχνουν πως ένας συνδυασμός γραμμικής μοριακής αναπαράστασης (linear molecular representation) και ενός συμβατικού αλγόριθμου Μηχανικής Μάθησης μπορεί να αποφέρει καλύτερα αποτελέσματα σε σύγκριση με πιο περίπλοκες αναπαραστάσεις που βασίζονται σε γράφους. Αυτά τα αποτελέσματα υπογραμμίζουν τη σημασία της προσεκτικής επιλογής της κατάλληλης featurization μεθόδου για την αναπαράσταση των μορίων στα μοντέλα Μηχανικής Μάθησης, ειδικά σε εφαρμογές στην επιστήμη της Χημείας και των Υλικών. Σε συνδυασμό με τα αποτελέσματα μας, τα αποτελέσματα των σχετικών ερευνών που θα παρουσιαστούν σε αυτή την εργασία, υπογραμμίζουν την υψίστης σημασίας λεπτομερή επιλογή της κατάλληλης featurization αναπαράστασης μορίων κατά την είσοδο τους στα μοντέλα Μηχανικής Μάθησης. Αυτές οι έρευνες τονίζουν ότι αυτή η επιλογή δεν είναι εύκολη υπόθεση, καθώς εξαρτάται σε μεγάλο βαθμό από τα χαρακτηριστικά του υπό εξέταση προβλήματος. Συνεπώς, η επίτευξη ισχυρών και αξιόπιστων αποτελεσμάτων βασίζεται στο σωστό συνδυασμό της featurization μεθόδου και του μοντέλου Μηχανικής Μάθησης. Αν αυτό επιτευχθεί, τα αποτελέσματα θα είναι αξιόπιστα.
Βιβλιογραφία: σ. 70-77
77 σ.
Machine learning has gained significant traction in the fields of chemistry and materials science, offering solutions to complex challenges such as property prediction, reaction pathway exploration, and molecular design. To harness the full potential of ML in these domains, it is essential to develop a comprehensive understanding of the chemical language. ML algorithms must accurately interpret and generate chemical structures and properties, enabling informed decision-making and valuable insights. Featurization plays a crucial role in effectively representing molecules for ML models. The challenge lies in designing features that capture the diverse nature of chemical space while distinguishing subtle variations between molecules. Additionally, reactions pose a unique challenge. So, a compact representation that combines all relevant entities while filtering out noise is necessary for accurate modeling. The selected representation should not only facilitate pattern learning but also provide interpretability, shedding light on model performance and decision-making. By developing expressive features, researchers can explore vast chemical spaces, predict properties of new compounds, and drive innovation across industries. So, in the current article, I present various featurization representations to provide a clearer understanding to the reader. Through a comprehensive review of the relevant literature on this topic and our own experiment conducted by my colleague, Nikolaos Pavlidis, and myself, readers can compare the results and determine the most effective combination of featurization methods for input molecules and Machine Learning Algorithms - Featurizers. In our study, we evaluate ten featurization algorithms and five ML models for the task of classification. Additionally, we examine the distinctions between the two main categories of featurization techniques: graph and linear form representations. Our findings highlight the critical importance of selecting an appropriate featurization method, which depends on the characteristics of the ML model and the dataset. Importantly, our results demonstrate that a combination of linear molecular representation and a conventional ML algorithm can yield superior outcomes compared to more sophisticated graph-based representations. These findings emphasize the significance of carefully considering the featurization approach in the machine learning process, specifically in chemistry and materials science applications. In conjunction with our experimental endeavors, the findings from relevant studies underscore the paramount significance of meticulously selecting the suitable featurization methodology when supplying molecular data as input for machine learning models. These research investigations concur that such a choice is far from a straightforward assumption; rather, it hinges upon the inherent attributes of the specific problem under investigation. Consequently, achieving robust and dependable outcomes rests upon the precise amalgamation of featurizer and machine learning model. This critical juncture is essential for attaining outcomes that are both trustworthy and secure.
Democritus University of Thrace
