In our current thesis, we work on the development of an open source IoT platform for device management of IoT devices and effective ingestion and analysis of their telemetry data. As we will show, despite the high number of IoT platforms that are currently deployed, few make use of the latest developments for high speed ingestion of data coming from devices as well providing the means for real-time streaming analytics of that data. Further, the use of proprietary API’s from that platforms, has the effect of locking-in the users and companies who will attempt to use them for any production use.
The development of our platform relies to a significant extent of the use of two open source technologies. Firstly, we use the standardized Lightweight M2M (LWM2M) protocol to connect and manage the devices at the edge of the network, and secondly, we use the open source Apache Kafka project and it’s ecosystem (Kafka Connect, Kafka Streams). Apache Kafka has become the de facto standard for high speed ingestion of big data as well as providing great connectivity for all major streaming analytical frameworks (Apache Spark, Apache Flink, Kafka Streams). Although on our thesis we develop some indicative analytics using the Kafka Streams technology that comes with Kafka, a user can choose to use any analytical framework of his/her choice.
Basing our platform on both LWM2M at the edge of the network as well as on Apache Kafka at the cloud part, we managed, as we will demonstrate, to create a highly scalable, fault tolerant and extremely flexible platform for the management of IoT devices and their telemetry data.
Περιέχει : πίνακες, διαγράμματα, εικόνες
Στην παρούσα πτυχιακή ασχολούμαστε με την ανάπτυξη μιας ανοικτής πλατφόρμας για την διαχείριση IoT συσκευών καθώς και την αποτελεσματική αποστολή και ανάλυση των δεδομένων τηλεμετρίας τους. Όπως θα δούμε, παρόλο των μεγάλο αριθμό IoT πλατφόρμων που αυτή την στιγμή βρίσκονται σε παραγωγή, ελάχιστες είναι εκείνες που είναι σχεδιασμένες από την αρχή ώστε να χρησιμοποιούν τις τελευταίες τεχνολογικές εξελίξεις στο χώρο της έγχυσης (Ingestion) μεγάλου όγκου δεδομένων (Big Data) καθώς και ανάλυσης αυτών σε πραγματικό χρόνο (Streaming Analytics). Επιπλέον, η χρησιμοποίηση ιδιωτικών (proprietary) API’s έχει ως συνέπεια το lock-in των χρηστών που θα θελήσουν να τις χρησιμοποιήσουν.
Η ανάπτυξη της πλατφόρμας στηρίζετε σε σημαντικό βαθμό σε δύο ανοιχτές τεχνολογίες. Η πρώτη είναι το προτυποποιημένο στάνταρτ Lightweight M2M (LWM2M) για να καταφέρει την διαχείριση των συσκευών στην άκρη (edge) του δικτύου, ενώ η δεύτερη, είναι η τεχνολογία Apache Kafka και του οικοσυστήματος που προσφέρετε μέσω αυτού (Kafka Connect, Kafka Streams). Η τεχνολογία Apache Kafka είναι αυτή την στιγμή το de-facto στάνταρτ όσον αφορά την αποτελεσματική έγχυση μεγάλου όγκου δεδομένων προσφέροντας ταυτόχρονα εξαιρετική συνδεσιμότητα με το σύνολο των δημοφιλή streaming analytics frameworks (Apache Spark, Apache Flink, Kafka Streams). Στην παρούσα πτυχιακή θα αναπτύξουμε κάποια ενδεικτικά analytics χρησιμοποιώντας την τεχνολογία Kafka Streams που έρχεται μαζί με το Kafka αλλά ο έν δυνάμει χρήστης θα μπορεί να χρησιμοποιήσει οποιοδήποτε analytic framework της επιλογής του.
Στηριζόμενοι στις τεχνολογίες LWM2M για την άκρη (edge) του δικτύου καθώς και στο Apache Kafka για την πλευρά του cloud καταφέραμε όπως θα δούμε να δημιουργήσουμε μια εξαιρετικά ευέλικτη και υψηλής απόδοσης πλατφόρμα για την διαχείριση IoT συσκευών και των δεδομένων τηλεμετρίας τους.
