Τι είναι η Τεχνητή Νοημοσύνη Edge;

Το Edge AI προωθεί την ευφυΐα στα σημεία όπου γεννιούνται τα δεδομένα. Ακούγεται φανταχτερό, αλλά η βασική ιδέα είναι απλή: κάντε τη σκέψη ακριβώς δίπλα στον αισθητήρα, ώστε τα αποτελέσματα να εμφανίζονται τώρα, όχι αργότερα. Αποκτάτε ταχύτητα, αξιοπιστία και μια αξιοπρεπή ιστορία απορρήτου χωρίς το cloud να ελέγχει κάθε απόφαση. Ας το αναλύσουμε - συμπεριλαμβάνονται συντομεύσεις και παράπλευρες αποστολές. 😅

Άρθρα που ίσως σας ενδιαφέρουν μετά από αυτό:

🔗 Τι είναι η γενετική τεχνητή νοημοσύνη
Σαφής εξήγηση της παραγωγικής Τεχνητής Νοημοσύνης, του τρόπου λειτουργίας της και των πρακτικών χρήσεών της.

🔗 Τι είναι η πρακτορική τεχνητή νοημοσύνη
Επισκόπηση της πρακτικής Τεχνητής Νοημοσύνης, των αυτόνομων συμπεριφορών και των μοτίβων εφαρμογών στον πραγματικό κόσμο.

🔗 Τι είναι η επεκτασιμότητα της Τεχνητής Νοημοσύνης
Μάθετε πώς να κλιμακώνετε συστήματα Τεχνητής Νοημοσύνης αξιόπιστα, αποτελεσματικά και οικονομικά αποδοτικά.

🔗 Τι είναι ένα πλαίσιο λογισμικού για την Τεχνητή Νοημοσύνη
Ανάλυση πλαισίων λογισμικού Τεχνητής Νοημοσύνης, οφέλη αρχιτεκτονικής και βασικά στοιχεία υλοποίησης.

Τι είναι το Edge AI; Ο σύντομος ορισμός 🧭

Το Edge AI είναι η πρακτική της εκτέλεσης εκπαιδευμένων μοντέλων μηχανικής μάθησης απευθείας πάνω ή κοντά στις συσκευές που συλλέγουν δεδομένα - τηλέφωνα, κάμερες, ρομπότ, αυτοκίνητα, φορητές συσκευές, βιομηχανικούς ελεγκτές, ό,τι θέλετε. Αντί να στέλνει ακατέργαστα δεδομένα σε απομακρυσμένους διακομιστές για ανάλυση, η συσκευή επεξεργάζεται τα δεδομένα εισόδου τοπικά και στέλνει μόνο περιλήψεις ή τίποτα απολύτως. Λιγότερες διαδρομές μετ' επιστροφής, λιγότερη καθυστέρηση, περισσότερος έλεγχος. Αν θέλετε μια σαφή, ουδέτερη ως προς τον προμηθευτή εξήγηση, ξεκινήστε από εδώ. [1]

Τι κάνει την Τεχνητή Νοημοσύνη Edge πραγματικά χρήσιμη; 🌟

• Χαμηλή καθυστέρηση - οι αποφάσεις λαμβάνονται στη συσκευή, επομένως οι απαντήσεις είναι άμεσες για εργασίες αντίληψης, όπως ανίχνευση αντικειμένων, εντοπισμός λέξεων αφύπνισης ή ειδοποιήσεις ανωμαλιών. [1]

• Απόρρητο ανά τοποθεσία - τα ευαίσθητα δεδομένα μπορούν να παραμείνουν στη συσκευή, μειώνοντας την έκθεση και βοηθώντας στις συζητήσεις για την ελαχιστοποίηση των δεδομένων. [1]

• Εξοικονόμηση εύρους ζώνης - αποστολή χαρακτηριστικών ή συμβάντων αντί για ακατέργαστες ροές. [1]

• Ανθεκτικότητα - λειτουργεί κατά τη διάρκεια αμφίβολης συνδεσιμότητας.

• Έλεγχος κόστους - λιγότεροι κύκλοι cloud computing και χαμηλότερη έξοδος.

• Επίγνωση του περιβάλλοντος - η συσκευή «αισθάνεται» το περιβάλλον και προσαρμόζεται.

Γρήγορο ανέκδοτο: ένας πιλότος λιανικής πώλησης αντάλλαξε τις συνεχείς μεταφορτώσεις κάμερας με ταξινόμηση ατόμου έναντι αντικειμένου στη συσκευή και προώθησε μόνο ωριαίες μετρήσεις και κλιπ εξαιρέσεων. Αποτέλεσμα: ειδοποιήσεις κάτω των 200 ms στην άκρη του ραφιού και πτώση ~90% στην κίνηση ανερχόμενης ζεύξης - χωρίς αλλαγή των συμβάσεων WAN του καταστήματος. (Μέθοδος: τοπική συμπερασματολογία, ομαδοποίηση συμβάντων, μόνο ανωμαλίες.)

Τεχνητή Νοημοσύνη Edge vs Τεχνητή Νοημοσύνη cloud - η γρήγορη αντίθεση 🥊

• Πού λαμβάνει χώρα ο υπολογισμός : edge = στη συσκευή/κοντά στη συσκευή· cloud = απομακρυσμένα κέντρα δεδομένων.

• Λανθάνων χρόνος : άκρη ≈ πραγματικός χρόνος· το cloud έχει διαδρομές μετ' επιστροφής.

• Μετακίνηση δεδομένων : το edge φιλτράρει/συμπιέζει πρώτα. Το cloud λατρεύει τις μεταφορτώσεις πλήρους πιστότητας.

• Αξιοπιστία : το edge συνεχίζει να λειτουργεί εκτός σύνδεσης· το cloud χρειάζεται συνδεσιμότητα.

• Διακυβέρνηση : το edge υποστηρίζει την ελαχιστοποίηση δεδομένων· το cloud κεντροποιεί την εποπτεία. [1]

Δεν είναι ούτε το ένα ούτε το άλλο. Τα έξυπνα συστήματα συνδυάζουν και τα δύο: γρήγορες αποφάσεις σε τοπικό επίπεδο, βαθύτερη ανάλυση και κεντρική μάθηση στόλου. Η υβριδική απάντηση είναι βαρετή και σωστή.

Πώς λειτουργεί στην πραγματικότητα το Edge AI στο παρασκήνιο 🧩

1. Οι αισθητήρες καταγράφουν ακατέργαστα σήματα - ηχητικά καρέ, pixel κάμερας, πατήματα IMU, ίχνη δόνησης.

2. Η προεπεξεργασία αναδιαμορφώνει αυτά τα σήματα σε χαρακτηριστικά φιλικά προς το μοντέλο.

3. Το Inference runtime εκτελεί ένα συμπαγές μοντέλο στη συσκευή χρησιμοποιώντας επιταχυντές όταν είναι διαθέσιμοι.

4. Η μετεπεξεργασία μετατρέπει τα αποτελέσματα σε συμβάντα, ετικέτες ή ενέργειες ελέγχου.

5. Η τηλεμετρία ανεβάζει μόνο ό,τι είναι χρήσιμο: συνόψεις, ανωμαλίες ή περιοδική ανατροφοδότηση.

Οι χρόνοι εκτέλεσης σε συσκευές που θα δείτε ευρέως περιλαμβάνουν το LiteRT (πρώην TensorFlow Lite), το ONNX Runtime και το OpenVINO . Αυτές οι αλυσίδες εργαλείων εξοικονομούν απόδοση από περιορισμένους προϋπολογισμούς ενέργειας/μνήμης με κόλπα όπως η κβαντοποίηση και η σύντηξη τελεστών. Αν σας αρέσουν τα παξιμάδια και τα μπουλόνια, τα έγγραφά τους είναι αξιόπιστα. [3][4]

Πού εμφανίζεται - πραγματικές περιπτώσεις χρήσης που μπορείτε να επισημάνετε 🧯🚗🏭

• Όραση στα άκρα : κάμερες κουδουνιών (άνθρωποι εναντίον κατοικίδιων), σάρωση ραφιών σε καταστήματα λιανικής, drones που εντοπίζουν ελαττώματα.

• Ήχος στη συσκευή : λέξεις αφύπνισης, υπαγόρευση, ανίχνευση διαρροών σε φυτά.

• Βιομηχανικό IoT : κινητήρες και αντλίες παρακολουθούνται για ανωμαλίες κραδασμών πριν από βλάβη.

• Αυτοκινητοβιομηχανία : παρακολούθηση οδηγού, ανίχνευση λωρίδας κυκλοφορίας, υποβοήθηση στάθμευσης - λιγότερο από το δευτερόλεπτο ή καθυστέρηση.

• Υγειονομική περίθαλψη : Οι φορητές συσκευές επισημαίνουν τις αρρυθμίες τοπικά. Συγχρονίστε τις συνόψεις αργότερα.

• Smartphones : βελτίωση φωτογραφιών, ανίχνευση ανεπιθύμητων κλήσεων, στιγμές με τον τίτλο "πώς το έκανε αυτό το τηλέφωνό μου εκτός σύνδεσης;".

Για επίσημους ορισμούς (και τη συζήτηση για το θέμα «ομίχλη vs άκρη»), δείτε το εννοιολογικό μοντέλο NIST. [2]

Το υλικό που το κάνει γρήγορο 🔌

Μερικές πλατφόρμες ελέγχονται συχνά ως προς το όνομά τους:

• NVIDIA Jetson - Μονάδες με GPU για ρομπότ/κάμερες - δονήσεις ελβετικού μαχαίριου για ενσωματωμένη τεχνητή νοημοσύνη.

• Google Edge TPU + LiteRT - αποτελεσματική συμπερασματολογία ακεραίων και βελτιστοποιημένος χρόνος εκτέλεσης για έργα εξαιρετικά χαμηλής κατανάλωσης ενέργειας. [3]

• Apple Neural Engine (ANE) - εύχρηστη μηχανική μάθηση (ML) σε συσκευές για iPhone, iPad και Mac. Η Apple έχει δημοσιεύσει πρακτικές εργασίες σχετικά με την αποτελεσματική ανάπτυξη μετασχηματιστών σε ANE. [5]

• CPU/iGPU/NPU Intel με OpenVINO - «εγγραφή μία φορά, ανάπτυξη οπουδήποτε» σε όλο το υλικό Intel. Χρήσιμα περάσματα βελτιστοποίησης.

• ONNX Runtime παντού - ένα ουδέτερο runtime με παρόχους εκτέλεσης που μπορούν να συνδεθούν σε τηλέφωνα, υπολογιστές και πύλες. [4]

Τα χρειάζεστε όλα; Όχι ακριβώς. Επιλέξτε μια ισχυρή διαδρομή που ταιριάζει στον στόλο σας και μείνετε πιστοί σε αυτήν - η απώλεια πελατών είναι ο εχθρός των ενσωματωμένων ομάδων.

Το λογισμικό - σύντομη περιήγηση 🧰

• Συμπίεση μοντέλου : κβάντωση (συχνά σε int8), κλάδεμα, απόσταξη.

• Επιτάχυνση σε επίπεδο χειριστή : πυρήνες συντονισμένοι στο πυρίτιό σας.

• Χρόνοι εκτέλεσης : LiteRT, ONNX Runtime, OpenVINO. [3][4]

• Περιτυλίγματα ανάπτυξης : κοντέινερ/πακέτα εφαρμογών· μερικές φορές μικροϋπηρεσίες σε πύλες.

• MLOps για το edge : Ενημερώσεις μοντέλων OTA, διάθεση A/B, βρόχοι τηλεμετρίας.

• Έλεγχοι απορρήτου και ασφάλειας : κρυπτογράφηση στη συσκευή, ασφαλής εκκίνηση, βεβαίωση, θύλακες.

Μικρή περίπτωση: μια ομάδα επιθεώρησης με drone μετέτρεψε έναν βαρέως τύπου ανιχνευτή σε ένα κβαντισμένο μοντέλο φοιτητή για το LiteRT και στη συνέχεια σύντηξε το NMS στη συσκευή. Ο χρόνος πτήσης βελτιώθηκε κατά ~15% χάρη στη χαμηλότερη υπολογιστική κατανάλωση. Ο όγκος μεταφόρτωσης συρρικνώθηκε σε πλαίσια εξαίρεσης. (Μέθοδος: καταγραφή συνόλου δεδομένων επί τόπου, βαθμονόμηση μετά την κβαντοποίηση, λειτουργία σκίασης A/B πριν από την πλήρη ανάπτυξη.)

Συγκριτικός πίνακας - δημοφιλείς επιλογές Edge AI 🧪

Πραγματική συζήτηση: αυτό το τραπέζι έχει άποψη και είναι λίγο ακατάστατο - ακριβώς όπως και ο πραγματικός κόσμος.

Πώς να επιλέξετε μια διαδρομή AI Edge - ένα μικροσκοπικό δέντρο αποφάσεων 🌳

• Δύσκολη η ζωή σας σε πραγματικό χρόνο; Ξεκινήστε με επιταχυντές + κβαντισμένα μοντέλα.

• Πολλοί τύποι συσκευών; Προτιμήστε το ONNX Runtime ή το OpenVINO για φορητότητα. [4]

• Αποστολή εφαρμογής για κινητά; Το LiteRT είναι η οδός της ελάχιστης αντίστασης. [3]

• Ρομποτική ή ανάλυση κάμερας; Οι φιλικές προς την GPU λειτουργίες της Jetson εξοικονομούν χρόνο.

• Αυστηρή πολιτική απορρήτου; Διατηρήστε τα δεδομένα τοπικά, κρυπτογραφήστε τα σε κατάσταση ηρεμίας, καταγράψτε τα συγκεντρωτικά στοιχεία και όχι τα ακατέργαστα πλαίσια.

• Μικροσκοπική ομάδα; Αποφύγετε τις εξωτικές αλυσίδες εργαλείων - το βαρετό είναι όμορφο.

• Τα μοντέλα θα αλλάζουν συχνά; Σχεδιάστε την υπηρεσία OTA και την τηλεμετρία από την πρώτη κιόλας μέρα.

Κίνδυνοι, όρια και τα βαρετά αλλά σημαντικά κομμάτια 🧯

• Μετατόπιση μοντέλου - αλλαγή περιβάλλοντος· παρακολούθηση κατανομών, εκτέλεση λειτουργιών σκίασης, περιοδική επανεκπαίδευση.

• Υπολογιστικά ανώτατα όρια - η περιορισμένη μνήμη/ισχύς επιβάλλει μικρότερα μοντέλα ή η χαλαρή ακρίβεια.

• Ασφάλεια - υποθέστε φυσική πρόσβαση· χρησιμοποιήστε ασφαλή εκκίνηση, υπογεγραμμένα αντικείμενα, βεβαίωση, υπηρεσίες με τα λιγότερα προνόμια.

• Διακυβέρνηση δεδομένων - η τοπική επεξεργασία βοηθάει, αλλά εξακολουθείτε να χρειάζεστε συγκατάθεση, διατήρηση και τηλεμετρία με συγκεκριμένο εύρος δεδομένων.

• Επιχειρήσεις στόλου - οι συσκευές απενεργοποιούνται στις χειρότερες στιγμές. Σχεδιάστε αναβαλλόμενες ενημερώσεις και επαναλαμβανόμενες μεταφορτώσεις.

• Μείγμα ταλέντων - το embedded + ML + DevOps είναι μια ετερόκλητη ομάδα. Συνεχής εκπαίδευση από νωρίς.

Ένας πρακτικός οδικός χάρτης για να στείλετε κάτι χρήσιμο 🗺️

1. Επιλέξτε μία περίπτωση χρήσης με μετρήσιμη ανίχνευση ελαττωμάτων τιμής στη Γραμμή 3, λέξη αφύπνισης στο έξυπνο ηχείο κ.λπ.

2. Συλλέξτε ένα τακτοποιημένο σύνολο δεδομένων που αντικατοπτρίζει το περιβάλλον-στόχο· εισαγάγετε θόρυβο ώστε να ταιριάζει με την πραγματικότητα.

3. Πρωτότυπο σε κιτ ανάπτυξης κοντά στο υλικό παραγωγής.

4. Συμπιέστε το μοντέλο με κβαντοποίηση/κλάδεμα· μετρήστε την απώλεια ακρίβειας με ειλικρίνεια. [3]

5. Τυλίξτε την εξαγωγή συμπερασμάτων σε ένα καθαρό API με αντίστροφη πίεση και watchdogs - επειδή οι συσκευές κολλάνε στις 2 π.μ.

6. Σχεδιάστε τηλεμετρία που σέβεται το απόρρητο: αποστολή μετρήσεων, ιστογραμμάτων, χαρακτηριστικών που εξάγονται από τις άκρες.

7. Ασφάλεια Harden : υπογεγραμμένα δυαδικά αρχεία, ασφαλής εκκίνηση, ελάχιστες υπηρεσίες ανοιχτές.

8. Σχέδιο OTA : σταδιακές κυκλοφορίες, καναρίνια, άμεση επαναφορά.

9. Πιλοτάρετε πρώτα μια βαλίτσα με δύσκολη γωνία - αν επιβιώσει εκεί, θα επιβιώσει οπουδήποτε.

10. Κλιμακώστε με ένα εγχειρίδιο : πώς θα προσθέτετε μοντέλα, θα εναλλάσσετε κλειδιά, θα αρχειοθετείτε δεδομένα - ώστε το έργο #2 να μην είναι χάος.

Συχνές ερωτήσεις - σύντομες απαντήσεις στο τι είναι το Edge AI ;

Μήπως το Edge AI εκτελεί απλώς ένα μικρό μοντέλο σε έναν μικροσκοπικό υπολογιστή;
Ως επί το πλείστον, ναι - αλλά το μέγεθος δεν είναι όλη η ιστορία. Αφορά επίσης τους προϋπολογισμούς καθυστέρησης, τις υποσχέσεις απορρήτου και την ενορχήστρωση πολλών συσκευών που δρουν τοπικά αλλά μαθαίνουν παγκοσμίως. [1]

Μπορώ να προπονηθώ και στα άκρα;
Υπάρχει ελαφριά εκπαίδευση/εξατομίκευση στη συσκευή. Η βαρύτερη εκπαίδευση εξακολουθεί να εκτελείται κεντρικά. Το ONNX Runtime καταγράφει επιλογές εκπαίδευσης στη συσκευή, αν είστε τολμηροί. [4]

Τι είναι η Τεχνητή Νοημοσύνη (AI) του Edge έναντι της υπολογιστικής ομίχλης (fog computing);
Η ομίχλη και η άκρη είναι ξαδέρφια. Και οι δύο φέρνουν την υπολογιστική πιο κοντά στις πηγές δεδομένων, μερικές φορές μέσω κοντινών πυλών. Για επίσημους ορισμούς και το πλαίσιο, ανατρέξτε στο NIST. [2]

Βελτιώνει πάντα το Edge AI την ιδιωτικότητα;
Βοηθάει, αλλά δεν είναι μαγικό. Χρειάζεστε ακόμα ελαχιστοποίηση, ασφαλείς διαδρομές ενημέρωσης και προσεκτική καταγραφή. Αντιμετωπίστε την ιδιωτικότητα ως συνήθεια, όχι ως πλαίσιο ελέγχου.

Βαθιές αναλύσεις που ίσως διαβάσετε 📚

1) Βελτιστοποίηση μοντέλου που δεν καταστρέφει την ακρίβεια

Η κβάντωση μπορεί να μειώσει τη μνήμη και να επιταχύνει τις λειτουργίες, αλλά η βαθμονόμηση με αντιπροσωπευτικά δεδομένα ή το μοντέλο μπορεί να παραισθησιάσει σκίουρους όπου υπάρχουν κώνοι κυκλοφορίας. Η απόσταξη - ο δάσκαλος που καθοδηγεί έναν μικρότερο μαθητή - συχνά διατηρεί τη σημασιολογία. [3]

2) Χρόνοι εκτέλεσης συμπερασμάτων ακμών στην πράξη

Ο διερμηνέας του LiteRT κάνει σκόπιμα churn μνήμης χωρίς στατικό περιεχόμενο κατά τον χρόνο εκτέλεσης. Το ONNX Runtime συνδέεται σε διαφορετικούς επιταχυντές μέσω παρόχων εκτέλεσης. Κανένα από τα δύο δεν είναι ακαταμάχητο. Και τα δύο είναι εξαιρετικά αποτελεσματικά. [3][4]

3) Ανθεκτικότητα στην άγρια ​​φύση

Ζέστη, σκόνη, ασταθής ισχύς, πρόχειρο Wi-Fi: δημιουργήστε φύλακες που επανεκκινούν τους αγωγούς, αποθηκεύουν προσωρινά τις αποφάσεις και συμβιβάζονται όταν το δίκτυο επιστρέφει. Λιγότερο λαμπερό από τα κεφάλια προσοχής - πιο σημαντικό όμως.

Η φράση που θα επαναλαμβάνετε στις συσκέψεις - Τι είναι το Edge AI 🗣️

Η Τεχνητή Νοημοσύνη (AI) του Edge φέρνει την ευφυΐα πιο κοντά στα δεδομένα, ώστε να ανταποκρίνεται στους πρακτικούς περιορισμούς της καθυστέρησης, της ιδιωτικότητας, του εύρους ζώνης και της αξιοπιστίας. Η μαγεία δεν είναι ένα τσιπ ή ένα πλαίσιο - είναι η σοφή επιλογή του τι θα υπολογιστεί και πού.

Τελικές παρατηρήσεις - Πολύ μακροσκελές, δεν το διάβασα 🧵

Το Edge AI εκτελεί μοντέλα κοντά στα δεδομένα, ώστε τα προϊόντα να φαίνονται γρήγορα, ιδιωτικά και ανθεκτικά. Θα συνδυάσετε την τοπική συμπερασματολογία με την εποπτεία στο cloud για το καλύτερο και των δύο κόσμων. Επιλέξτε ένα runtime που ταιριάζει στις συσκευές σας, βασιστείτε σε επιταχυντές όταν μπορείτε, διατηρήστε τα μοντέλα τακτοποιημένα με συμπίεση και σχεδιάστε τις λειτουργίες του στόλου σαν να εξαρτάται η δουλειά σας από αυτό - γιατί, λοιπόν, μπορεί. Αν κάποιος σας ρωτήσει Τι είναι το Edge AI , πείτε: έξυπνες αποφάσεις, που λαμβάνονται τοπικά, εγκαίρως. Στη συνέχεια, χαμογελάστε και αλλάξτε θέμα σε μπαταρίες. 🔋🙂

Αναφορές

1. IBM - Τι είναι η Τεχνητή Νοημοσύνη Edge; (ορισμός, οφέλη).
   https://www.ibm.com/think/topics/edge-ai

2. NIST - SP 500-325: Εννοιολογικό Μοντέλο Υπολογιστικής Ομίχλης (επίσημο πλαίσιο για ομίχλη/άκρο).
   https://csrc.nist.gov/pubs/sp/500/325/final

3. Google AI Edge - LiteRT (πρώην TensorFlow Lite) (χρόνος εκτέλεσης, κβαντοποίηση, μετεγκατάσταση).
   https://ai.google.dev/edge/littert

4. ONNX Runtime - Εκπαίδευση σε συσκευή (φορητός χρόνος εκτέλεσης + εκπαίδευση σε συσκευές edge).
   https://onnxruntime.ai/docs/get-started/training-on-device.html

5. Έρευνα Μηχανικής Μάθησης της Apple - Ανάπτυξη Μετασχηματιστών στη Νευρωνική Μηχανή της Apple (σημειώσεις απόδοσης ANE).
   https://machinelearning.apple.com/research/neural-engine-transformers

Βρείτε την τελευταία λέξη της Τεχνητής Νοημοσύνης στο επίσημο κατάστημα βοηθών τεχνητής νοημοσύνης

Σχετικά με εμάς