Η ανάπτυξη των υπολογιστών, τόσο σε επεξεργαστική ισχύ όσο και στο επίπεδο του
λογισμικού, σε συνδυασμό με τη παραγωγή και διαθεσιμότητα ενός τεράστιου όγκου
πληροφοριών μέσω του διαδικτύου, έχουν φέρει στο προσκήνιο νέες μεθόδους και τεχνικές συλλογής, επεξεργασίας, ανάλυσης και εξαγωγής συμπερασμάτων, όσο και νέες επιστήμες, όπως η επιστήμη των δεδομένων (data science). Παράλληλα με τις δυνατότητες που αναδύονται, αναπτύσσονται και διατυπώνονται ισχυροί προβληματισμοί που αφορούν τόσο τις τεχνικές προκλήσεις που καλούμαστε να αντιμετωπίσουμε όσο και το βαθμό στον οποίο τα αποτελέσματα των αναλύσεων των μεγάλων δεδομένων αναπαριστούν την πραγματικότητα. Στην παρούσα εργασία, σχεδιάσαμε και υλοποίησαμε ένα σύστημα αυτόματης καθημερινής συλλογής του περιεχομένου δεκαοχτώ (18) ελληνικών ειδησεογραφικών ιστότοπων, ανάλυσής του και παρουσίασης των αποτελεσμάτων της ανάλυσης σε μια διαδραστική διαδικτυακή εφαρμογή. Επιπλέον, παρατηρώντας και καταγράφοντας τα προβλήματα που αντιμετωπίσαμε και τις αποφάσεις που κληθήκαμε να πάρουμε κατά την επεξεργασία, ανάλυση και παρουσίαση των δεδομένων, επιχειρούμε να φωτίσουμε την προσπάθεια που απαιτείται να καταβάλλεται σε όλα τα στάδια της διαδικασίας για τη μείωση της αβεβαιότητας, προκειμένου τα αποτελέσματα να είναι ακριβή και οι πληροφορίες που προκύπτουν να έχουν αξία. Τα βασικά πλεονεκτήματα του πιλοτικού συστήματος που υλοποιήσαμε είναι: α) η καθημερινή συλλογή περιεχομένου το οποίο μπορεί να καταστεί πολύτιμο στο μέλλον για ερευνητικούς λόγους, β) η καθημερινή διεξαγωγή αναλύσεων και η άμεση επισκόπηση των αποτελεσμάτων τους τα οποία θα μπορούσαν να αποτελέσουν πηγή έμπνευσης για περαιτέρω εστιασμένες έρευνες και γ) η δυνατότητα επέκτασης του συστήματος ώστε να συμπεριλάβει και άλλους ιστότοπους ή άλλου είδους αναλύσεις. Ωστόσο, χρειάζεται να γίνουν αρκετές βελτιώσεις σε όλα τα στάδια της διαδικασίας προς την κατεύθυνση της μείωσης της αβεβαιότητας που εμπεριέχεται τόσο στα ίδια τα μεγάλα δεδομένα όσο και στις τεχνικές της διαχείρισής τους.
(EL)
The evolution of computers, both in terms of hardware and software, combined with the production and availability of a huge volume of information distributed via the Internet, have brought to the fore new methods and techniques for collecting, processing and analysing data as well as drawing conclusions. Alongside the emerging possibilities, strong concerns are being developed and articulated concerning both the technical challenges we are called upon to address and the extent to which the results of big data analyses represent reality. In this paper, we designed and implemented a system for the automatic daily collection and analysis of the content of eighteen (18) Greek news websites, and the presentation of the analysis results in an interactive web application. Furthermore, by observing and recording the problems we encountered and the decisions we were asked to make during the processing, analysis and presentation of the data, we attempt to shed light on the effort required to be made at all stages of the process to reduce uncertainty in order for the results to be accurate and the resulting information to be of value. The main advantages of the pilot system we implemented are: a) the daily collection of content that may become valuable in the future for research purposes, b) the daily conducting of analyses and the immediate review of their results which could be a source of inspiration for further focused research and c) the possibility of expanding the system to include other websites or other types of analyses. However, several improvements need to be made at all stages of the process towards reducing the uncertainty inherent in both the big data itself and in the techniques of its management.
(EN)
Εθνικό και Καποδιστριακό Πανεπιστήμιο Αθηνών
