73 σ.
Βιβλιογραφία: σ. 69-72
Η παρούσα διατριβή διερευνά καινοτόμες προσεγγίσεις για την επέκταση και τη βελτίωση των ερωτημάτων στο πλαίσιο των κλινικών δοκιμών, εστιάζοντας συγκεκριμένα στο TREC 2022 Clinical Trials Track. Η έρευνα εισάγει δύο νέες μεθόδους αξιοποίησης των Μεγάλων Γλωσσικών Μοντέλων (LLM), ιδιαίτερα του μοντέλου GPT του OpenAI, με στόχο να ενισχύσει την αποτελεσματικότητα των ερωτημάτων αναζήτησης στην ανάκτηση σχετικών εγγράφων κλινικών δοκιμών. Η πρώτη μέθοδος εστιάζει στη βελτίωση του ερωτήματος, χρησιμοποιώντας το GPT για να τελειοποιήσει τα αρχικά ερωτήματα, ενώ η δεύτερη μέθοδος χρησιμοποιεί το GPT για την επέκταση του ερωτήματος, προσθέτοντας σχετικούς όρους για να διευρύνει το εύρος αναζήτησης. Και οι δύο μέθοδοι συγκρίνονται με τις παραδοσιακές τεχνικές επέκτασης ερωτημάτων, Bo1 και RM3, και συνδυάζονται επίσης για την αξιολόγηση πιθανών συνεργειών στη βελτίωση της απόδοσης ανάκτησης. Τα ευρήματά μας καταδεικνύουν ότι οι προτεινόμενες μέθοδοι ξεπερνούν σημαντικά τις βασικές τεχνικές, με αποτελέσματα περίπου 70% πάνω από τη διάμεση απόδοση TREC στον τομέα της ανάκτησης κλινικών δοκιμών. Συγκεκριμένα, η μέθοδός μας με την καλύτερη απόδοση θα κατατασσόταν στην 3η θέση στην μετρική nDCG@10 και στην 4η στην μετρική P@10 μεταξύ των συμμετεχόντων στο 2022 Clinical Trials Track, επιδεικνύοντας την αποτελεσματικότητα της ενσωμάτωσης των LLM στις διαδικασίες επέκτασης και βελτίωσης ερωτημάτων. Επιπλέον, αυτή η διατριβή παρουσιάζει μια πιθανή οδό για μελλοντική εργασία που περιλαμβάνει νευρωνική ανακατάταξη με το ColBERT. Παρά τα αρχικά πειράματα με το ColBERT που δεν απέδωσε τα αναμενόμενα αποτελέσματα, η εξερεύνησή του παραμένει μια πολλά υποσχόμενη κατεύθυνση για περαιτέρω ενίσχυση της αποτελεσματικότητας ανάκτησης στον τομέα των Κλινικών Δοκιμών. Αυτή η διατριβή όχι μόνο παρέχει ουσιαστική συμβολή στον τομέα της Ανάκτησης Κειμένου εισάγοντας και επικυρώνοντας καινοτόμες μεθόδους, αλλά ανοίγει νέους δρόμους για μελλοντική έρευνα στη εισαγωγή των LLMs και τεχνικών νευρικής ανακατάταξης για την ενίσχυση της ανάκτησης πληροφοριών σε εξειδικευμένους τομείς όπως οι Κλινικές Δοκιμές.
This thesis explores innovative approaches to query expansion and refinement within the context of Clinical Trials, specifically focusing on the TREC 2022 Clinical Trials Track. The research introduces two novel methods leveraging Large Language Models (LLMs), particularly OpenAI's GPT model, aiming to enhance the effectiveness of search queries in retrieving relevant clinical trials documents. The first method focuses on query refinement, utilizing GPT to fine-tune initial queries, while the second method employs GPT for query expansion, adding pertinent terms to broaden the search scope. Both methods are compared against traditional query expansion techniques, namely Bo1 and RM3, and are also combined with these classical methods to assess potential synergies in improving retrieval performance. Our findings demonstrate that the proposed methods significantly outperform the baseline techniques, with results approximately 70% above the TREC median performance in the domain of Clinical Trials retrieval. Notably, our best-performing method would rank 3rd in nDCG@10 and 4th in P@10 among participants in the 2022 Clinical Trials Track, showcasing the effectiveness of integrating LLMs into the query expansion and refinement processes. Additionally, this thesis outlines a potential avenue for future work involving neural re-ranking with ColBERT. Despite initial experiments with ColBERT not yielding the expected results, its exploration remains a promising direction for further enhancing retrieval effectiveness in Clinical Trials search tasks. This thesis not only provides a substantial contribution to the field of Text Retrieval by introducing and validating innovative methods but also opens new avenues for future research in leveraging LLMs and neural re-ranking techniques for enhancing information retrieval in specialized domains such as Clinical Trials.
Democritus University of Thrace
