Τι είναι ένα Κέντρο Δεδομένων Τεχνητής Νοημοσύνης; [Βίντεο και Κουίζ]

Σύντομη απάντηση: Ένα κέντρο δεδομένων τεχνητής νοημοσύνης είναι μια υψηλής πυκνότητας όπου η ισχύς, η ψύξη, οι εγκαταστάσεις και η αποθήκευση επικεντρώνονται στην εκπαίδευση και την εξυπηρέτηση μοντέλων, όχι σε μια αίθουσα διακομιστών με επιπλέον GPU. Τα τσιπ αποκτούν τη φήμη. Το κτίριο αποφασίζει αν θα λειτουργήσουν. Εάν οι εικόνες δεν μπορούν να φύγουν, εγκαταστήστε μια μικρή κυψέλη. Οι περισσότερες ομάδες θα πρέπει να νοικιάσουν.

Βασικά συμπεράσματα:

Τσιπ vs κατασκευή: Η ισχύς, η ψύξη, το ύφασμα και η αποθήκευση αποφασίζουν εάν οι επιταχυντές λειτουργούν.

Μέρη όχι παλάτια: Τοποθετήστε εκ των υστέρων δύο racks όταν τα δεδομένα δεν μπορούν να φύγουν. Μην αγοράζετε πανεπιστημιούπολη.

Μέσος όρος έναντι διάμεσου: Σε οκτώ εκτελέσεις, η διάμεσος τιμή επανεκκινείται. Χρησιμοποιήστε τον 18ωρο μέσο όρο.

Αντοχή σε κακή χρήση: Μην υποβάλλετε προσφορά για PUE για δύο racks σε μικτή αίθουσα.

Ενδεικτικά αποτελέσματα: Οκτώ διαδρομές είναι ένας μικρός χάρτης, όχι εξοικονόμηση 50% στην παραγωγή.

Άρθρα που ίσως σας ενδιαφέρουν μετά από αυτό:

🔗 Είναι αξιόπιστη η Τεχνητή Νοημοσύνη; Βίντεο και κουίζ
Εξερευνήστε την αξιοπιστία της Τεχνητής Νοημοσύνης μέσα από ένα ενδιαφέρον βίντεο και ένα διαδραστικό κουίζ.

🔗 Πώς να χρησιμοποιείτε την Τεχνητή Νοημοσύνη στην καθημερινή ζωή
Ανακαλύψτε πρακτικούς τρόπους με τους οποίους η Τεχνητή Νοημοσύνη μπορεί να απλοποιήσει τις καθημερινές εργασίες και ρουτίνες.

🔗 Πώς να χρησιμοποιήσετε την Τεχνητή Νοημοσύνη στην εργασία
Μάθετε πρακτικούς τρόπους χρήσης της Τεχνητής Νοημοσύνης για πιο έξυπνη παραγωγικότητα στον χώρο εργασίας.

🔗 Μπορεί η τεχνητή νοημοσύνη να σκέφτεται μόνη της;
Κατανοήστε εάν η τεχνητή νοημοσύνη μπορεί πραγματικά να σκέφτεται ανεξάρτητα ή να συλλογίζεται.

Πώς διαφέρει από ένα «κανονικό» κέντρο δεδομένων

Οι παραδοσιακές αίθουσες βελτιστοποιούν τα μικτά φόρτα εργασίας και τον χρόνο λειτουργίας σε πολλές μικρές υπηρεσίες. Σας ενδιαφέρει η πλεονάζουσα τεχνολογία, σίγουρα, και η PUE ως έννοια - η επιπλέον ενέργεια που καίει το κτίριο για να παρέχει ένα watt υπολογιστικής ισχύος. Συνήθως, δεν σχεδιάζετε κάθε διάδρομο γύρω από ένα rack που συμπεριφέρεται σαν φορητή μονάδα θέρμανσης.

Οι ιστότοποι τεχνητής νοημοσύνης μεταβάλλουν τις αναλογίες. Η πυκνότητα αυξάνεται. Το δίκτυο γίνεται ένας ιστός χωρίς τον οποίο η εργασία εκπαίδευσης δεν μπορεί να προχωρήσει κουτσαίνοντας. Η αποθήκευση πρέπει να διατηρεί τα σημεία ελέγχου σε κίνηση ή οι επιταχυντές να παραμένουν αδρανείς, όπως τα άλογα κούρσας σε μποτιλιάρισμα.

Υπάρχει επίσης μια πολιτισμική διαφορά. Οι εταιρικοί διαχειριστές σκέφτονται τα δελτία και τα παράθυρα αλλαγής. Οι διαχειριστές τεχνητής νοημοσύνης σκέφτονται τις ουρές εργασίας και το αίσθημα αδιαθεσίας όταν ένας κόμβος πεθαίνει αργά σε μια μακροπρόθεσμη βάση. Υποθέτω ότι θα μπορούσατε ακόμα να αποκαλέσετε και τα δύο "κέντρα δεδομένων" επειδή είναι. Η ετικέτα απλώς κρύβει τα υδραυλικά.

Όχι ηθική κατάταξη. Διαφορετικές μηχανές, ίδιο επώνυμο.

GPU, επιταχυντές και το rack που καταναλώνει ενέργεια

Περπατήστε σε ένα παραδοσιακό υπερυψωμένο δάπεδο και τα ράφια φαίνονται σχεδόν ευγενικά. Περπατήστε σε μια σειρά από AI και μοιάζουν σαν να θέλουν να καταπιούν το κτίριο.

Το υλικό που ξεχωρίζει δεν είναι μια έξυπνη CPU. Είναι ο δίσκος επιταχυντή: GPU ή άλλα τσιπ τεχνητής νοημοσύνης, συσκευασμένα σε διακομιστές, μετά σε racks και μετά σε σειρές που μοιράζονται ένα fabric υψηλού εύρους ζώνης. Η GPU διασυνδέει τα τσιπ συρραφής σε κάτι που μπορεί να προσποιηθεί ότι είναι ένας γιγάντιος επιταχυντής. Το fabric cluster κάνει το ίδιο κόλπο σε κλίμακα σειράς. Η παράλληλη εκπαίδευση λειτουργεί μόνο εάν αυτοί οι σύνδεσμοι παραμείνουν πυκνοί και προβλέψιμοι. Χάστε το αυτό και το "cluster" σας θα είναι ένα σωρό από ακριβούς σταθμούς εργασίας που μοιράζονται έναν ταχυδρομικό κώδικα.

Η ισχύς ακολουθεί τα τσιπ. Όχι ένα ογκώδες PDU γραφείου. Μεγαβάτ φορτίου IT μόλις γεμίσει μια αίθουσα - δεν θα επινοήσω έναν αριθμό. Η πυκνότητα ανά rack είναι η ανατροπή της πλοκής. Λιγότερα rack. Κάθε ένα ένα μικρό φούρνο. Ο περιοριστικός παράγοντας είναι συχνά ο υποσταθμός, όχι η λίστα επιθυμιών των GPU. Ξέρετε πώς είναι τα πράγματα: οι προμήθειες θέλουν περισσότερους επιταχυντές· η εταιρεία κοινής ωφέλειας θέλει μια μακρά συζήτηση και μια πολύ μεγάλη επιταγή.

Μια ελαφρώς χαζή μεταφορά που δεν μπορώ να αποβάλω: το θηρίο είναι ένα πεινασμένο ζώο. Μπορείς να αναπαράγεις ένα πιο γρηγορότερο. Πρέπει ακόμα να το ταΐζεις και πρέπει ακόμα να το ζεσταίνεις. Αν παραλείψεις οποιοδήποτε από τα δύο, γίνεται ένα πολύ ακριβό πρες-παπιέ.

Το πρόβλημα της ενέργειας, της θέρμανσης και της ψύξης

Εισαγωγή ηλεκτρικού ρεύματος. Έξοδος θέρμανσης. Αυτή είναι όλη η θρησκεία.

Τα ράφια υψηλής πυκνότητας αποβάλλουν τη θερμότητα με τρόπο που ποτέ δεν ζητήθηκε από τον αέρα να χειριστεί. Μπορείτε να πιέσετε τον αέρα πιο δυνατά - εναλλάκτες θερμότητας πίσω πόρτας, θερμότεροι διάδρομοι, έξυπνη συγκράτηση - και αυτό λειτουργεί μέχρι ενός σημείου. Στη συνέχεια, εμφανίζεται υγρό:

• Ψύξη απευθείας στο τσιπ

• Βρόχοι ψυκτικού που κάνουν το δωμάτιο του εργοστασίου να μοιάζει με χημικό εργοστάσιο

• Εμβάθυνση σε μερικά σχέδια, τα οποία εξακολουθούν να εκπλήσσουν όσους πιστεύουν ότι το νερό και οι σερβιτόροι δεν πρέπει να μοιράζονται την ίδια πρόταση

Τίποτα από αυτά δεν είναι λαμπερό. Όλα αυτά είναι το προϊόν, επειδή ένα γκάζι που ανοίγει το γκάζι είναι ένα για το οποίο έχετε ήδη πληρώσει και δεν μπορείτε να το χρησιμοποιήσετε πλήρως.

Η PUE εξακολουθεί να έχει σημασία. Είναι λόγος, όχι προσωπικότητα. Οι χειριστές την κυνηγούν επειδή κάθε βατ που ξοδεύεται σε ανεμιστήρες και αντλίες είναι ένα βατ που δεν πήγε σε μια GPU. Δεν θα αναφέρω ένα "τυπικό" νούμερο. Το κλίμα και ο τρόπος που σχεδιάζεις τα όρια το μετακινούν, και η ψεύτικη ακρίβεια είναι χειρότερη από το τίποτα. Το νερό επίσης βρίσκεται στην ιστορία. Μερικά φυτά ρουφάνε. Κάποια καταβροχθίζουν. Η ψύξη με εξάτμιση είναι αποτελεσματική μέχρι το ποτάμι ή μια ξηρασία να την καταστήσει πολιτική.

Δικτύωση: γιατί το ύφασμα έχει την ίδια σημασία με τα τσιπ

Οι άνθρωποι φωτογραφίζουν τις GPU. Θα έπρεπε να φωτογραφίζουν τους διακόπτες.

Η εκπαίδευση είναι μια συζήτηση. Χιλιάδες επιταχυντές ανταλλάσσουν διαβαθμίσεις, παραμέτρους, θραύσματα ενός μοντέλου, σε στενό συγχρονισμό. Αν το fabric τρέμει, όλη η δουλειά περιμένει στο πιο αργό hop. Αυτός είναι ο λόγος για τον οποίο οι αίθουσες τεχνητής νοημοσύνης ασχολούνται με δικτύωση υψηλού εύρους ζώνης, χαμηλή καθυστέρηση και τοπολογίες που δεν διπλώνουν στη μέση όταν αποτυγχάνει μια σύνδεση. Fabrics τύπου InfiniBand, Ethernet στον ίδιο ρόλο, διασυνδέσεις GPU μέσα στο κουτί, καλωδίωση που πρέπει να είναι σωστή την πρώτη φορά.

Η συμπερασματολογία είναι μια διαφορετική συζήτηση. Η εξυπηρέτηση μοντέλου ενδιαφέρεται για την καθυστέρηση της ουράς - η αργή απάντηση, όχι η μέση. Η μαζική έναντι της πραγματικής χρόνου διαιρεί την προσωπικότητα. Ένα cluster εκπαίδευσης θέλει πυκνή, συλλογική, σχεδόν ολοκληρωμένη κίνηση. Ένας στόλος εξυπηρέτησης θέλει πολλά μικρότερα αιτήματα και απομόνωση, χωρίς κυκλοφοριακή συμφόρηση στον εξισορροπητή φορτίου.

Η αστοχία, όσο είμαι εδώ: οι άνθρωποι αντιμετωπίζουν το δίκτυο ως υδραυλική εγκατάσταση και τα τσιπς ως εστιατόριο. Σε αυτό το κτίριο, η υδραυλική εγκατάσταση είναι το εστιατόριο. Αν το χάσετε αυτό, αγοράζετε μια κουζίνα που δεν μπορεί να δεχτεί delivery.

Εκπαίδευση vs συμπερασμός: δύο κτίσματα, μερικές φορές κυριολεκτικά

Η εκπαίδευση είναι μια καμπάνια. Συγκεντρώνεις ένα cluster, του τροφοδοτείς δεδομένα, κάνεις checkpoints με ευλάβεια, το εκτελείς για ώρες ή εβδομάδες και προσεύχεσαι να παραμείνει χωρίς προβλήματα το fabric. Δουλεύεις με πολλά batch, έχεις bandwidth, είσαι ήσυχα υπομονετικός - μέχρι που ένας αποτυχημένος κόμβος δαγκώνει την εκτέλεση. Ένας νεκρός επιταχυντής σε μια στενά συνδεδεμένη εργασία μπορεί να σταματήσει ολόκληρη τη χορωδία.

Η συμπερασματολογία είναι μια βιτρίνα. Μοντέλα που έχουν ήδη εκπαιδευτεί, τώρα απαντούν σε ερωτήσεις, ταξινομούν εικόνες, δημιουργούν κείμενο. Η καθυστέρηση έχει σημασία. Ένας ελαφρώς παλαιότερος επιταχυντής κοντά στον πελάτη μπορεί να ξεπεράσει έναν λαμπερό σε μια ήπειρο μακριά.

Έτσι, υπάρχει μια διαίρεση. Οι εγκαταστάσεις εκπαίδευσης κυνηγούν την ισχύ, τη γη και την πυκνότητα. Οι χώροι συμπερασμάτων κυνηγούν την καθυστέρηση και την παρουσία. Υπάρχουν επίσης υβριδικές αίθουσες, επειδή το κεφάλαιο δεν είναι άπειρο. Λοιπόν - όχι πάντα δύο κτίρια. Μερικές φορές μία αίθουσα με βελούδινο σχοινί και δύο βρόχους ψύξης.

Εδώ ακριβώς βρίσκεται επίσης η συντοποποίηση, οι υπερκλιμακωτές εγκαταστάσεις και οι on-prem fork. Οι υπερκλιμακωτές κατασκευάζονται σε κλίμακες που μας κάνουν τους υπόλοιπους να μοιάζουμε σαν να τακτοποιούμε έπιπλα. Οι Colossals πουλάνε πυκνότητα ανά ράφι. Η on-prem λειτουργία εξακολουθεί να συμβαίνει όταν τα δεδομένα δεν μπορούν να φύγουν.

Ρυθμός αποθήκευσης, σημεία ελέγχου και πεινασμένα τσιπ

Κανείς δεν βάζει το παράλληλο σύστημα αρχείων στο εξώφυλλο του φυλλαδίου.

Τα δεδομένα εκπαίδευσης πρέπει να φτάνουν αρκετά γρήγορα ώστε οι GPU να μην ακούμπουν δυνατά. Τα σημεία ελέγχου πρέπει να προσγειώνονται, ώστε μια συντριβή να μην χάνει μια εβδομάδα. Τα βάρη των μοντέλων πρέπει να φορτώνονται πριν τεθεί σε λειτουργία ένα αντίγραφο εξυπηρέτησης. Η απόδοση αποθήκευσης - όχι μόνο η χωρητικότητα - είναι το ήσυχο σημείο συμφόρησης. Μπορείτε να ξοδέψετε μια περιουσία σε επιταχυντές και να τους απενεργοποιήσετε με έναν ευγενικό πίνακα σχεδιασμένο για εικονικές μηχανές.

Το μοτίβο είναι οικείο: ένα λαμπερό σύμπλεγμα, μια ουρά εργασιών και μια αναμονή εισόδου/εξόδου που κοιτάζει πίσω σαν ένα αγενές τιμολόγιο. Η ομαδοποίηση των υπολογισμών χωρίς ομαδοποίηση της διαδρομής δεδομένων είναι ο τρόπος με τον οποίο αποκτάτε μια πολύ ακριβή αδράνεια. Διατηρήστε τα τσιπ τροφοδοτημένα ή παραδεχτείτε ότι αγοράσατε ένα γλυπτό.

Λογισμικό, ενορχήστρωση και το άκομψο επίπεδο λειτουργιών

Το υλικό είναι η διασημότητα. Οι προγραμματιστές κάνουν τη δουλειά.

Ένα κέντρο δεδομένων τεχνητής νοημοσύνης είναι άχρηστο αν οι εργασίες δεν μπορούν να βρουν GPU, αν δύο ομάδες δεν μπορούν να μοιραστούν ένα cluster χωρίς να γίνει καβγάς, αν μια αποτυχημένη κατάταξη δεν μπορεί να αντικατασταθεί, αν το firmware παρασύρεται μέχρι το fabric να αποτύχει σε αργή κίνηση. Ενορχήστρωση, παρατηρησιμότητα, περιορισμός ισχύος - το άκομψο επίπεδο λειτουργιών, που είναι ο τρόπος με τον οποίο ξέρετε ότι έχει σημασία.

Έχω ένα μειονέκτημα σε αυτό το επίπεδο. Επίσης, όταν μια λανθασμένα διαμορφωμένη κάρτα δικτύου υποδύεται ένα πρόβλημα ψύξης για ένα ολόκληρο απόγευμα... το ανακαλύπτεις με τον δύσκολο τρόπο.

Όταν ένας κόμβος πεθαίνει στη μέση της εκτέλεσης

Ένας κόμβος πεθαίνει. Τα παράθυρα αλλαγών εξακολουθούν να συγκρούονται με εκτελέσεις εκπαίδευσης που δεν ενδιαφέρονται για το ημερολόγιό σας. Προγραμματίζετε ομαδικά μεγάλες εργασίες, περιφράσσετε τις ομάδες συμπερασμάτων, γράφετε βιβλία εκτέλεσης για αποτυχίες που μοιάζουν με "η εργασία είναι αργή" μέχρι να μοιάζουν με "η εργασία είναι νεκρή". Ο πλεονασμός εξακολουθεί να έχει σημασία - ισχύς, ψύξη, διαδρομές, αποθήκευση - αλλά η λειτουργία αστοχίας είναι λιγότερο τακτοποιημένη από την παλιά διαφάνεια εννέα λεπτών λειτουργίας. Συμπερασματολογία: αντίγραφο, εξάντληση του ασθενούς κόμβου, συνέχιση απάντησης. Η εκπαίδευση θέλει σημεία ελέγχου, όχι αισιοδοξία.

Τοποθεσία, νερό, δίκτυο και γείτονες

Δεν αφήνεις ένα από αυτά δίπλα σε ένα εξοχικό για τη θέα.

Η σύνδεση στο δίκτυο είναι συχνά η πραγματική διαδικασία επιλογής τοποθεσίας. Η γη είναι εύκολη σε σύγκριση με έναν υποσταθμό και μια εταιρεία κοινής ωφέλειας που έχει άλλους πελάτες. Το νερό για ψύξη, αν το χρησιμοποιείτε, γίνεται πρόβλημα για τους γείτονες μόλις η βροχόπτωση είναι αφόρητη. Θόρυβος. Οπτικός όγκος. Θερμότητα σε έναν φράχτη. Οι επιτροπές σχεδιασμού ανακαλύπτουν απόψεις για το "σύννεφο" τη στιγμή που χρειάζεται ένα χωράφι και ένα ποτάμι.

Η καθυστέρηση τραβάει την αντίθετη κατεύθυνση. Η Inference αρέσκεται στο να βρίσκεται κοντά σε χρήστες και διασυνδέσεις. Η εκπαίδευση μπορεί να κρυφτεί σε φθηνότερες αγορές ενέργειας και σε ψυχρότερα κλίματα. Η βιομηχανία μιλάει σαν να υπάρχει μία τέλεια τοποθεσία. Δεν υπάρχει. Υπάρχει ένας συμβιβασμός με ένα δελτίο τύπου.

Η θερμότητα που περίσσεψε και ο απρόσκλητος φούρνος

Τα φυλλάδια λατρεύουν αυτό το κομμάτι. Διοχετεύουν την αποβαλλόμενη θερμότητα σε σπίτια, πισίνες, θερμοκήπια. Είναι μια υπέροχη πρόταση. Μερικές φορές ο κύκλος της περιοχής είναι αυθεντικός. Μερικές φορές η πανεπιστημιούπολη βρίσκεται σε λάθος μέρος και η θερμότητα εξακολουθεί να διαχέεται στον αέρα. Είμαι επιφυλακτικός ως προς την έκδοση του φυλλαδίου. Δεν είμαι επιφυλακτικός ως προς τη φυσική.

Ποιος χρειάζεται ένα (και ποιος θα έπρεπε να νοικιάσει αντ' αυτού);

Οι περισσότεροι άνθρωποι δεν χρειάζεται να έχουν στην κατοχή τους μία από αυτές τις αίθουσες.

Η αδιάφορη λίστα:

• Υπερκλίμακες, επειδή το προϊόν είναι ο στόλος

• Εργαστήρια, όταν ο χρόνος στην ουρά είναι το σημείο συμφόρησης ή τα δεδομένα δεν μπορούν να φύγουν

• Μια τράπεζα, ένας νοσοκομειακός όμιλος, μια κυβέρνηση ή ένας κατασκευαστής με ένα μυστικό σύνολο δεδομένων - εσωτερικές εγκαταστάσεις ή ιδιωτικό κλουβί κρυψώνων - μπορεί να είναι λογικό, ακόμα κι αν είναι δύσκολο

Όλοι οι άλλοι θα έπρεπε να νοικιάσουν. Συντοπισμός με πυκνότητα έτοιμη για τεχνητή νοημοσύνη. Μια κράτηση cloud. Ένα διαχειριζόμενο cluster. Παίρνετε τους επιταχυντές χωρίς να γίνετε και χειριστής σταθμού παραγωγής ενέργειας. Ο ρομαντισμός ξεθωριάζει την πρώτη φορά που κάποιος ρωτάει ποιος είναι σε ετοιμότητα για τον βρόχο ψυκτικού στις 3 π.μ.

Υπάρχει ένα θέμα υπερηφάνειας, το παραδέχομαι. Το να κατέχεις το σύμπλεγμα μοιάζει με το να κατέχεις τα μέσα πρόβλεψης. Έπειτα φτάνει το τιμολόγιο ηλεκτρικού ρεύματος και το υπερηφάνειο κάθεται.

Σε τι χρησιμεύει το κτίριο

Τι είναι, λοιπόν, ένα Κέντρο Δεδομένων Τεχνητής Νοημοσύνης; Μια εξειδικευμένη, υψηλής πυκνότητας πανεπιστημιούπολη όπου οι επιταχυντές, η παροχή ενέργειας, η ψύξη, οι εγκαταστάσεις και η αποθήκευση οργανώνονται γύρω από μοντέλα εκπαίδευσης και εξυπηρέτησης - όχι μια γενικής χρήσης πληροφορική με μια GPU στη γωνία. Μοιάζει με αποθήκη. Συμπεριφέρεται σαν ένας σταθμός παραγωγής ενέργειας που κάνει μαθηματικά.

Αν δεν θυμάστε τίποτα άλλο: τα τσιπ αποκτούν τη φήμη. Ο υποσταθμός, το ψυκτικό και το δίκτυο αποφασίζουν αν αυτά τα τσιπ ήταν καλή ιδέα. Η εκπαίδευση και η συμπερασματολογία μπορούν να μοιράζονται την ίδια στέγη. Εξακολουθούν να χρειάζονται διαφορετικούς τρόπους. Οι περισσότεροι οργανισμοί θα έπρεπε να νοικιάζουν. Μερικοί θα έπρεπε να χτίζουν. Οι γείτονες θα το προσέξουν με κάθε τρόπο.

Το cloud είχε πάντα ένα κτίριο. Σήμερα, το κτίριο έχει απόψεις.

Παράδειγμα πραγματικού κόσμου: Ένα κελί εκπαίδευσης δύο ραφιών όταν οι εικόνες δεν μπορούν να φύγουν

Σενάριο

Ο Tomos είναι επικεφαλής υποδομής στην Kestrel Precision, μια εταιρεία κατασκευής με 400 άτομα στα Δυτικά Μίντλαντς. Διαθέτουν ήδη μια μικρή εσωτερική αίθουσα: ERP, κοινόχρηστα αρχεία, εικονικές μηχανές, τη μικτή γειτονιά με την οποία ξεκίνησε αυτό το άρθρο. Ψύξη με αέρα. Συνηθισμένο Ethernet. Ένα SAN που είναι απόλυτα φιλικό προς τους δίσκους γραφείου.

Η ομάδα μηχανικής όρασης πρέπει να εκπαιδεύσει ένα μοντέλο επιθεώρησης σε εργοστασιακές φωτογραφίες. Οι φωτογραφίες δεν μπορούν να φύγουν από τον χώρο. Δείχνουν μια διαδικασία που η εταιρεία δεν θα τοποθετήσει σε δίσκο cloud, ούτε καν σε ιδιωτικό. Η λύση της Procurement είναι τέσσερις διακομιστές διπλού επιταχυντή και μια διαφάνεια με τίτλο "το κέντρο δεδομένων τεχνητής νοημοσύνης μας". Οι διακομιστές τοποθετούνται σε δύο υπάρχοντα rack, επειδή υπάρχει χώρος και ο χώρος φάνηκε να είναι ο περιορισμός.

Δεν είναι. Μέσα σε δύο εβδομάδες οι GPU ακούγονται απασχολημένες και μετά σβήνουν ήσυχα. Οι εργασίες αρχίζουν να κολλάνε όταν ένα σημείο ελέγχου χτυπήσει το SAN. Ένας κόμβος τερματίζεται την έντεκα ώρα και η εκτέλεση απλώς... χάθηκε. Ο Τόμος δεν παρέλειψε να αγοράσει τσιπ. Έχει αγοράσει ένα σωρό από ακριβούς σταθμούς εργασίας που μοιράζονται έναν ταχυδρομικό κώδικα. Το κτίριο ήταν ακόμα μια επιχειρηματική αίθουσα.

Δεν χρειάζονται πανεπιστημιούπολη, νέο υποσταθμό ή ποτάμι. Χρειάζονται ένα μικρό κελί που να συμπεριφέρεται σαν ένα κέντρο δεδομένων τεχνητής νοημοσύνης σε μικρογραφία: ισχύ που μπορούν να συγκρατήσουν τα racks, θερμότητα που φεύγει χωρίς να μαγειρεύει τα τσιπ, ένα ύφασμα για το οποίο μπορεί να μιλήσει η εκπαιδευτική εργασία, αποθήκευση που μπορεί να χωρέσει ένα σημείο ελέγχου και ένα runbook για όταν ένας κόμβος πεθάνει. Επειδή οι εικόνες δεν μπορούν να φύγουν, η ενοικίαση ενός colo cage σαράντα λεπτά μακριά δεν είναι η απάντηση. Η εκ των υστέρων τοποθέτηση δύο racks είναι.

Τι χρειάζεται το κύτταρο

• Ένα μετρημένο budget ισχύος σε αυτήν τη σειρά, από τις PDU, όχι από τη λίστα επιθυμιών της GPU. Εάν η εφεδρική χωρητικότητα δεν μπορεί να τροφοδοτήσει τους τέσσερις διακομιστές στο φορτίο εκπαίδευσης, η συζήτηση σταματά εκεί και φαίνονται πιο πυκνά χρώματα, όχι θαύμα

• Η ψύξη του αέρα δεν ζητήθηκε ποτέ να γίνει σε αυτή την πυκνότητα: εναλλάκτες θερμότητας πίσω πόρτας, αν μπορεί να τους αντέξει η αίθουσα, ή ένας μικρός βρόχος υγρού, αν μπορεί να τους αντέξει. Αν δεν υπάρχει τίποτα από τα δύο, οι διακομιστές δεν μπαίνουν μέσα

• Ένα αποκλειστικό δίκτυο υψηλού εύρους ζώνης μεταξύ των τεσσάρων κόμβων, όχι το Ethernet του γραφείου. Εάν ο προμηθευτής διαθέτει μόνο έναν διακόπτη 10 Gb στον κατάλογο, αυτό δεν είναι σύμπλεγμα

• Τοπική γρήγορη αποθήκευση για σημεία ελέγχου και θραύσματα εκπαίδευσης, όχι το VM SAN

• Ένας χρονοπρογραμματιστής, ένα διάστημα ελέγχου και μια γραπτή διαδρομή επανεκκίνησης. Το υλικό είναι η διασημότητα. Αυτό το επίπεδο είναι η δουλειά

• Ένα περιφραγμένο κουτί συμπερασμάτων για τη γραμμή του εργοστασίου, ξεχωριστό από την ομιλία της εκπαίδευσης, επειδή το σερβίρισμα θέλει καθυστέρηση στην ουρά και απομόνωση, όχι συλλογική προσπάθεια

• Άδεια καταγραφής ισχύος, ρολογιών GPU, συμβάντων επιτάχυνσης και ρολογιού τοίχου εργασιών. Εάν δεν μπορούν να τα επιθεωρήσουν, θα φωτογραφίσουν τις GPU και θα χάσουν τους διακόπτες

Παράδειγμα οδηγιών

Ο Τόμος το θέτει αυτό στο εγχειρίδιο οδηγιών χρήσης των εγκαταστάσεων, με απλή γλώσσα:

Μην το ονομάσετε αυτό πανεπιστημιούπολη Τεχνητής Νοημοσύνης. Κατασκευάστε ένα κελί εκπαίδευσης δύο ραφιών στην υπάρχουσα αίθουσα για τέσσερις διακομιστές διπλού επιταχυντή. Οι εργοστασιακές εικόνες παραμένουν επί τόπου. Η επιτυχία είναι: οι τέσσερις κόμβοι ολοκληρώνουν μια συνταγή επιθεώρησης-εκπαίδευσης 12 εποχών χωρίς θερμικό γκάζι, γράφουν ένα σημείο ελέγχου σε λεπτά, όχι δεκάδες λεπτά, και συνεχίζουν από αυτό το σημείο ελέγχου όταν τερματίζουμε μια κατάταξη σκόπιμα. Η ψύξη πρέπει να διατηρεί τις GPU στα ρολόγια εκπαίδευσής τους. Η δικτύωση πρέπει να είναι ένα υλικό που μοιράζονται αυτά τα τέσσερα κουτιά, όχι μια διαδρομή μέσα από τη στοίβα γραφείου. Η αποθήκευση πρέπει να τροφοδοτεί τα τσιπ. Εάν οι εναλλάκτες θερμότητας της πίσω πόρτας δεν ταιριάζουν, πείτε το και σταματήστε. Μην αναφέρετε PUE για δύο ραφιά σε μια μικτή αίθουσα. Αυτός ο αριθμός θα ήταν θέατρο.

Στη συνέχεια, το βάζει αυτό στην ίδια την εκπαιδευτική εργασία:

Σημείο ελέγχου κάθε 30 λεπτά στην τοπική ομάδα γρήγορης εκκίνησης. Εάν ένας βαθμός πεθάνει, ξεκινήστε από το τελευταίο ολοκληρωμένο σημείο ελέγχου. Μην περιμένετε στο SAN. Μην συνεχίζετε την προπόνηση όσο τα ρολόγια έχουν πέσει από τη θερμοκρασία. Καταγράψτε το και σταματήστε για να δούμε την καθυστέρηση.

Μια καλή ώρα μοιάζει με αυτό: και οι οκτώ GPU σε ρολόγια εκπαίδευσης, το αρχείο σημείου ελέγχου προσγειώθηκε, η εργασία εξακολουθεί να είναι σε lockstep. Μια κακή ώρα μοιάζει με αυτό: οι ανεμιστήρες σε πλήρη λειτουργία, τα ρολόγια έχουν μειωθεί, το σημείο ελέγχου 2% έχει γραφτεί μετά από δέκα λεπτά και κάποιος στο γραφείο λέει "το cluster είναι ενεργό". Η "ανέβασμα" δεν είναι εκπαίδευση.

Πώς να το δοκιμάσετε

Γράφουν το τεστ πριν από την αναβάθμιση, που είναι και το νόημα της μη εμπιστοσύνης σε μια επίδειξη.

• Η ίδια συνταγή 12 εποχών, οι ίδιες 120.000 φωτογραφίες επιθεώρησης, οκτώ λήψεις

• Ο χρονισμός είναι ρολόι τοίχου μέχρι μια ολοκληρωμένη συνταγή, συμπεριλαμβανομένης οποιασδήποτε επανεκκίνησης, μετρημένος από την υποβολή της εργασίας έως το τελευταίο σημείο ελέγχου της εποχής 12

• Ένα πέρασμα στη θερμότητα: Τα ρολόγια της GPU παραμένουν στον στόχο εκπαίδευσης για την εκτέλεση. Ένα συμβάν επιτάχυνσης θεωρείται αποτυχία ακόμα κι αν η εργασία τελικά ολοκληρωθεί

• Ένα πέρασμα στην αποθήκευση: χρόνος εγγραφής σημείου ελέγχου, διάμεσος και χειρότερος, από το αρχείο καταγραφής εργασίας

• Ένα πέρασμα στο ύφασμα: η δουλειά δεν κάθεται σε συλλογική αναμονή όσο ένας βαθμός είναι υγιής. Εάν δεν μπορούν να δουν αυτήν την αναμονή, η ενοργάνωση δεν έχει ολοκληρωθεί

• Δύο από τα οκτώ runs σκοτώνονται με rank σε ένα σταθερό βήμα, επίτηδες, για να δοκιμαστεί η διαδρομή επανεκκίνησης

• Η συμπερασματολογία είναι μια ξεχωριστή δοκιμή 200 εικόνων από τη γραμμή του εργοστασίου μέχρι το περιφραγμένο κουτί σερβιρίσματος. Η επιτυχία της προπόνησης δεν μετράει ως επιτυχία στο σερβίρισμα

• Καταγράφουν την ισχύ του rack από τις PDU σε δείγματα 15 λεπτών, οπότε κανείς δεν χρειάζεται να εφεύρει ένα μεγαβάτ

Αποδοχή για τον χαρακτηρισμό του κελιού ως "έτοιμο για τεχνητή νοημοσύνη": 8 από τις 8 συνταγές ολοκληρώθηκαν. 0 από τις 8 εμφανίζουν θερμικό γκάζι. Και οι δύο εκτελέσεις που έχουν τερματιστεί συνεχίζονται. Τα σημεία ελέγχου παραμένουν σε λίγα λεπτά. Αν το χάσουν αυτό, εξακολουθούν να έχουν ένα δωμάτιο διακομιστή με φανταχτερές κάρτες γραφικών.

Αποτέλεσμα

Ενδεικτικό αποτέλεσμα, από μια κατασκευασμένη δοκιμή οκτώ κύκλων, όχι από δημοσιευμένο σχήμα για το Κέστρελ.

Υποθέσεις: τέσσερις διακομιστές διπλού επιταχυντή σε δύο racks· ένα μοντέλο επιθεώρησης· 120.000 φωτογραφίες· οκτώ εκτελέσεις μιας σταθερής συνταγής 12 εποχών· το ρολόι τοίχου περιλαμβάνει επανεκκινήσεις μέχρι την ολοκλήρωση της συνταγής· η επιτάχυνση σημαίνει μια καταγεγραμμένη διακοπή του ρολογιού εκπαίδευσης· ο χρόνος σημείου ελέγχου είναι η εγγραφή, όχι η επιθυμία· η ισχύς του rack είναι δείγματα PDU, όχι PUE πανεπιστημιούπολης.

Πριν από την αναβάθμιση, οι GPU σε συνηθισμένα αερόψυκτα rack στο Ethernet του γραφείου και στο VM SAN:

• 5 από τις 8 κούρσες ολοκληρώθηκαν με την πρώτη προσπάθεια. Μέσος όρος ρολογιού τοίχου μεταξύ αυτών των πέντε: 14 ώρες

• 3 από τους 8 έπρεπε να ξεκινήσουν ξανά μετά από μια καθυστέρηση περίπου στην 11η ώρα (δύο μετά την απώλεια ενός κόμβου με ένα παλιό σημείο ελέγχου, ένα μετά την συμπλήρωση του SAN από ένα σημείο ελέγχου). Άμεση επανάληψη, χωρίς αναμονή όλη τη νύχτα: 11 ώρες χαμένες συν μια δεύτερη προσπάθεια 14 ωρών ή 25 ώρες για μια ολοκληρωμένη συνταγή σε αυτές τις τρεις

• Μέσος χρόνος ολοκλήρωσης μιας συνταγής και στις οκτώ δόσεις, συμπεριλαμβανομένων των επανεκκινήσεων: 18 ώρες. (Πέντε στις 14, τρεις στις 25. Η διάμεση τιμή και των οκτώ δόσεων είναι ακόμα 14, κάτι που θα έκρυβε τις επανεκκινήσεις. Γι' αυτό ο μέσος όρος είναι η βασική τιμή εδώ.)

• Θερμικό γκάζι καταγράφηκε σε 7 από τις 8 διαδρομές. Μέσος χρόνος σε μειωμένο ρολόι: 3 ώρες σε μια προσπάθεια 14 ωρών

• Εγγραφή στο σημείο ελέγχου: διάμεσος χρόνος 22 λεπτά

• Η εξόντωση κατά βαθμίδα δεν ήταν μια δοκιμασία που μπορούσαν να περάσουν. Δεν είχαν βιβλίο εκδρομών. Οι δύο τυχαίοι θάνατοι ήταν το εύρημα

• Μέγιστο φορτίο IT στα δύο racks κατά την εκπαίδευση: περίπου 18 kW. Η σειρά είχε τα watt. Δεν είχε την ψύξη ή το ύφασμα

Μετά τους εναλλάκτες θερμότητας πίσω πόρτας σε αυτά τα δύο racks, ένα ειδικό fabric μεταξύ των τεσσάρων κόμβων, μια μικρή δεξαμενή NVMe για σημεία ελέγχου, 30λεπτο σημείο ελέγχου και ένα runbook επανεκκίνησης:

• 8 από τους 8 τερμάτισαν με την πρώτη προσπάθεια. Μέσος χρόνος σε ρολόι τοίχου: 9 ώρες

• Θερμικό γκάζι: 0 από 8

• Γράψιμο σημείου ελέγχου: διάμεσος χρόνος 90 δευτερόλεπτα. Χειρότερος χρόνος στο σετ: 3 λεπτά

• Οι δύο σκόπιμες επιθέσεις με βάση την κατάταξη συνεχίστηκαν και οι δύο από το τελευταίο σημείο ελέγχου των 30 λεπτών. Επιπλέον χρόνος σε αυτές τις δύο εκτελέσεις: περίπου 40 λεπτά η καθεμία, συμπεριλαμβανομένης της διάγνωσης, οπότε αυτές οι δύο εκτελέσεις κράτησαν κοντά στις 9 ώρες και 40 λεπτά. Μέσος όρος σε οκτώ ακίνητους γύρους σε 9 ώρες

• Μέγιστο φορτίο IT ακόμα περίπου 18 kW. Ίδια τσιπ. Διαφορετική συμπεριφορά κτιρίου

Σε αυτό το δείγμα, ο μέσος χρόνος ολοκλήρωσης μιας συνταγής μειώθηκε από 18 ώρες σε 9 ώρες, ή 9 ώρες για κάθε συνταγή, 72 ώρες σε οκτώ εκτελέσεις. Η πρώτη εκτέλεση μειώθηκε από 5 στις 8 σε 8 στις 8. Η πεταλούδα μειώθηκε από 7 στις 8 σε 0 στις 8. Αυτός ο τελευταίος αριθμός είναι αυτός που λέει αν αγόρασαν επιταχυντές ή χαρτοβάρηδες. Δεν θα αποκαλέσουν την αλλαγή ώρας εξοικονόμηση 50% στην παραγωγή. Οκτώ εκτελέσεις είναι ένα μικρό, εύκολο σύνολο.

Αυτά τα στοιχεία αποτελούν ένα παράδειγμα εκτίμησης που βασίζεται στη δηλωμένη δοκιμή, ένα μικρό δείγμα, ένα μοντέλο και μια μικτή αίθουσα. Δεν αποτελούν PUE, ούτε μεγαβάτ στην πανεπιστημιούπολη, ούτε απόδειξη ότι η Kestrel θα έπρεπε να κατασκευάσει ένα χώρο εκπαίδευσης σε ένα χωράφι. Η αναθεώρηση των αρχείων καταγραφής έγινε εντός των 9 ωρών. Δεν το έκρυψαν. Το στοιχείο των 18 kW είναι μια στρογγυλοποιημένη ένδειξη PDU, όχι τιμολόγιο κοινής ωφέλειας. Δεν μετέτρεψαν τις 72 ώρες σε κόστος, επειδή η μεικτή τιμή ηλεκτρικής ενέργειας του εργοστασίου θα αποτελούσε μια ψευδή επιχειρηματική υπόθεση.

Το σερβίς ήταν ξεχωριστό και μικρότερο: 200 γραμμές εικόνας στο περιφραγμένο κουτί, όλες επί τόπου. Αυτό είναι συμπέρασμα, όχι εκπαίδευση. Η ανάμειξη των δύο θα ήταν το λάθος του υβριδικού χολ σε μικρογραφία.

Τι μπορεί να πάει στραβά

• Οι προμήθειες αποκαλούν συνεχώς τέσσερις διακομιστές «το κέντρο δεδομένων τεχνητής νοημοσύνης». Η ετικέτα κρύβει τα υδραυλικά και η επόμενη αγορά είναι περισσότερες GPU για τον ίδιο διάδρομο ασθενών

• Οι εναλλάκτες στην πίσω πόρτα μπαίνουν και κανείς δεν θέτει σε λειτουργία την πλευρά του νερού. Οι ανεμιστήρες εξακολουθούν να φωνάζουν. Τα ρολόγια εξακολουθούν να μειώνονται

• Το fabric είναι ένας μόνο διακόπτης χωρίς εφεδρική διαδρομή. Μία αποτυχημένη σύνδεση και το "cluster" αποτελείται ξανά από τέσσερις σταθμούς εργασίας

• Τα σημεία ελέγχου παραμένουν στο SAN επειδή η ομάδα NVMe ήταν "φάση δύο". Η φάση δύο δεν φτάνει πριν από τον επόμενο νεκρό κόμβο

• Προσφέρουν μια PUE για δύο racks σε μια μικτή αίθουσα. Το κλίμα, τα όρια και η υπόλοιπη σειρά ERP καθιστούν αυτήν την αναλογία μια ενδυμασία

• Η εκπαίδευση και η εξυπηρέτηση μοιράζονται το fabric. Μια πλημμύρα από σημεία ελέγχου κάνει τη γραμμή του εργοστασίου να περιμένει. Η καθυστέρηση στην ουρά είναι το προϊόν εκεί, όχι η πυκνότητα

• Ένας κόμβος τερματίζεται και κάποιος τον αντιμετωπίζει ως δελτίο χρόνου λειτουργίας αντί για επανεκκίνηση σημείου ελέγχου. Οι επιχειρήσεις και οι επιχειρήσεις τεχνητής νοημοσύνης συνομιλούν μεταξύ τους για ένα ολόκληρο απόγευμα

• Θα μπορούσαν να είχαν νοικιάσει ένα κλουβί, αλλά οι εικόνες δεν μπορούν να φύγουν. Ξεχνώντας αυτόν τον περιορισμό, θα πρέπει να χαλαρώσουν και να αφεθούν σε μια συζήτηση στο cloud

Πρακτικό πακέτο

Αυτό που είναι ένα Κέντρο Δεδομένων Τεχνητής Νοημοσύνης, σε αυτό το σχήμα, δεν είναι αποθήκη και δεν είναι τιμολόγιο GPU. Είναι το κελί που επιτρέπει στους επιταχυντές να ολοκληρώσουν την εκτέλεση: ισχύς που μπορούν να συγκρατήσουν, θερμότητα που φεύγει, ένα fabric, ένα σημείο ελέγχου και κάποιος στο γάντζο όταν ένας βαθμός πεθαίνει. Το Kestrel δεν χρειαζόταν μια πανεπιστημιούπολη. Χρειάζονταν δύο racks για να σταματήσουν να προσποιούνται. Οι περισσότερες ομάδες θα έπρεπε να νοικιάσουν αυτή τη συμπεριφορά. Μερικές, με ένα μυστικό σύνολο δεδομένων και μια αίθουσα που μπορεί να αντέξει τη θερμότητα, θα έπρεπε να κατασκευάσουν ένα κελί και να αρνηθούν την τσουλήθρα.

Συχνές ερωτήσεις

Τι είναι ένα Κέντρο Δεδομένων Τεχνητής Νοημοσύνης;

Μια τοποθεσία υπολογιστικής υψηλής πυκνότητας όπου η τροφοδοσία, η ψύξη, η δικτύωση και η αποθήκευση επικεντρώνονται στην παράλληλη εκπαίδευση και την εξυπηρέτηση μοντέλων, όχι σε τακτοποιημένες σειρές διακομιστών γενικής χρήσης. Έχει σχεδιαστεί έτσι ώστε ένας τεράστιος αριθμός επιταχυντών να μπορεί να εκπαιδεύει και να εξυπηρετεί μοντέλα χωρίς να «παγώνει», να κολλάει στο δίκτυο ή να περιμένει σε δίσκο. Μια συνηθισμένη αίθουσα επιχειρήσεων είναι μια μικτή γειτονιά. Μια αίθουσα τεχνητής νοημοσύνης είναι μια μονοκαλλιέργεια της οποίας η μονάδα αξίας είναι ο επιταχυντής, όπως οι GPU ή τα τσιπ τύπου TPU. Μοιάζει με αποθήκη και συμπεριφέρεται σαν σταθμός παραγωγής ενέργειας που κάνει μαθηματικές πράξεις.

Πώς διαφέρει ένα κέντρο δεδομένων τεχνητής νοημοσύνης από ένα κανονικό κέντρο δεδομένων;

Οι παραδοσιακές αίθουσες βελτιστοποιούν τα μικτά φόρτα εργασίας και τον χρόνο λειτουργίας σε πολλές μικρές υπηρεσίες. Οι τοποθεσίες τεχνητής νοημοσύνης αντιστρέφουν τις αναλογίες: η πυκνότητα αυξάνεται, το δίκτυο γίνεται ένας ιστός χωρίς τον οποίο η εργασία εκπαίδευσης δεν μπορεί να λειτουργήσει και η αποθήκευση πρέπει να διατηρεί τα σημεία ελέγχου σε κίνηση ή οι επιταχυντές παραμένουν αδρανείς. Οι εταιρικοί χειριστές σκέφτονται τα δελτία και τα παράθυρα αλλαγής. Οι χειριστές τεχνητής νοημοσύνης σκέφτονται τις ουρές εργασιών και το αίσθημα αδιαθεσίας όταν ένας κόμβος πεθαίνει αργά μακροπρόθεσμα. Θα μπορούσατε ακόμα να καλέσετε και τα δύο κέντρα δεδομένων. Η ετικέτα απλώς κρύβει τα υδραυλικά.

Γιατί τα κέντρα δεδομένων τεχνητής νοημοσύνης χρησιμοποιούν τόση ενέργεια;

Το υλικό που ξεχωρίζει δεν είναι μια έξυπνη CPU. Είναι ο δίσκος επιταχυντή: GPU ή άλλα τσιπ AI, συσκευασμένα σε διακομιστές, μετά racks, και τέλος σειρές που μοιράζονται ένα δίκτυο υψηλού εύρους ζώνης. Η πυκνότητα ανά rack είναι η ανατροπή της πλοκής: λιγότερα racks, το καθένα ένας μικρός φούρνος. Μεγαβάτ φορτίου IT εμφανίζονται μόλις γεμίσει μια αίθουσα, αν και η επινόηση ενός τυπικού αριθμού δεν αξίζει τον κόπο. Ο περιοριστικός παράγοντας είναι συχνά ο υποσταθμός, όχι η λίστα επιθυμιών των GPU.

Πώς ψύχονται τα κέντρα δεδομένων τεχνητής νοημοσύνης;

Τα rack υψηλής πυκνότητας αποβάλλουν θερμότητα με τρόπο που ποτέ δεν ζητήθηκε από τον αέρα να χειριστεί. Μπορείτε να πιέσετε τον αέρα πιο δυνατά με εναλλάκτες θερμότητας πίσω πόρτας, θερμότερους διαδρόμους και έξυπνη συγκράτηση. Στη συνέχεια, εμφανίζεται υγρό: ψύξη απευθείας στο τσιπ, βρόχοι ψυκτικού και εμβάπτιση σε μερικά σχέδια. Ένας επιταχυντής που μειώνει το γκάζι είναι ένας για τον οποίο έχετε ήδη πληρώσει και δεν μπορείτε να τον χρησιμοποιήσετε πλήρως. Η PUE εξακολουθεί να έχει σημασία επειδή κάθε watt που δαπανάται σε ανεμιστήρες και αντλίες είναι ένα watt που δεν πήγε σε μια GPU. Το νερό επίσης βρίσκεται στην ιστορία: μερικά φυτά πίνουν γουλιά, μερικά καταπίνουν.

Γιατί η δικτύωση έχει τόση σημασία όσο οι GPU;

Η εκπαίδευση είναι μια συζήτηση: χιλιάδες επιταχυντές ανταλλάσσουν διαβαθμίσεις, παραμέτρους και θραύσματα ενός μοντέλου σε στενό συγχρονισμό. Εάν το fabric τρέμει, ολόκληρη η εργασία περιμένει στο πιο αργό άλμα. Αυτός είναι ο λόγος για τον οποίο οι αίθουσες τεχνητής νοημοσύνης ασχολούνται με δικτύωση υψηλού εύρους ζώνης, χαμηλή καθυστέρηση, fabrics τύπου InfiniBand ή Ethernet στον ίδιο ρόλο, και τοπολογίες που δεν διπλώνουν στη μέση όταν αποτυγχάνει μια σύνδεση. Το Inference ενδιαφέρεται για την καθυστέρηση της ουράς, πολλά μικρότερα αιτήματα και την απομόνωση. Σε αυτό το κτίριο, οι υδραυλικές εγκαταστάσεις είναι το εστιατόριο.

Σε τι χρησιμοποιείται ένα Κέντρο Δεδομένων Τεχνητής Νοημοσύνης: για εκπαίδευση ή για συμπερασματολογία;

Η εκπαίδευση είναι μια καμπάνια: συναρμολογήστε ένα σύμπλεγμα, τροφοδοτήστε το με δεδομένα, ελέγξτε με θρησκευτικό τρόπο και εκτελέστε το για ώρες ή εβδομάδες. Η συμπερασματική ανάλυση είναι μια βιτρίνα: μοντέλα που έχουν ήδη εκπαιδευτεί, τώρα απαντούν, με καθυστέρηση που έχει σημασία. Οι εγκαταστάσεις εκπαίδευσης κυνηγούν την ισχύ, τη γη και την πυκνότητα. Οι τοποθεσίες συμπερασματικής ανάλυσης κυνηγούν την καθυστέρηση και την παρουσία. Οι υβριδικές αίθουσες υπάρχουν επειδή το κεφάλαιο δεν είναι άπειρο, μερικές φορές μια αίθουσα με δύο βρόχους ψύξης. Ένας ελαφρώς παλαιότερος επιταχυντής κοντά στον πελάτη μπορεί να ξεπεράσει έναν λαμπερό σε μια ήπειρο μακριά.

Γιατί έχει σημασία η αποθήκευση σε ένα κέντρο δεδομένων τεχνητής νοημοσύνης;

Τα δεδομένα εκπαίδευσης πρέπει να φτάνουν αρκετά γρήγορα ώστε οι GPU να μην ακούμπουν δυνατά. Τα σημεία ελέγχου πρέπει να προσγειώνονται, ώστε μια συντριβή να μην χάνει μια εβδομάδα. Τα βάρη των μοντέλων πρέπει να φορτώνονται πριν τεθεί σε λειτουργία ένα αντίγραφο εξυπηρέτησης. Η απόδοση αποθήκευσης, όχι μόνο η χωρητικότητα, είναι το ήσυχο σημείο συμφόρησης. Μπορείτε να ξοδέψετε μια περιουσία σε επιταχυντές και να τους απενεργοποιήσετε με έναν ευγενικό πίνακα σχεδιασμένο για εικονικές μηχανές.

Τι συμβαίνει όταν ένας κόμβος πεθαίνει στη μέση της εκτέλεσης;

Ένας νεκρός επιταχυντής σε μια στενά συνδεδεμένη εκπαιδευτική εργασία μπορεί να σταματήσει ολόκληρη τη χορωδία. Η εκπαίδευση θέλει σημεία ελέγχου, όχι αισιοδοξία. Η συμπερασματική διαδικασία εξαντλεί τον ασθενή κόμβο, διατηρεί ένα αντίγραφο που απαντά και παραμένει ενεργό. Τα παράθυρα αλλαγών εξακολουθούν να συγκρούονται με εκτελέσεις εκπαίδευσης που δεν ενδιαφέρονται για το ημερολόγιό σας. Ο πλεονασμός εξακολουθεί να έχει σημασία για την τροφοδοσία, την ψύξη, τις διαδρομές και τον αποθηκευτικό χώρο, αλλά η λειτουργία αστοχίας είναι λιγότερο τακτοποιημένη από την παλιά διαφάνεια εννέα λεπτών λειτουργίας.

Ποιος είναι ο αντίκτυπος ενός Κέντρου Δεδομένων Τεχνητής Νοημοσύνης στο δίκτυο, το νερό και τους γείτονες;

Η σύνδεση στο δίκτυο είναι συχνά η πραγματική διαδικασία επιλογής τοποθεσίας. Η γη είναι εύκολη σε σύγκριση με έναν υποσταθμό και μια εταιρεία κοινής ωφέλειας που έχει άλλους πελάτες. Το νερό για ψύξη, αν το χρησιμοποιείτε, γίνεται πρόβλημα γειτνίασης μόλις οι βροχοπτώσεις είναι αφόρητες, μαζί με τον θόρυβο, τον οπτικό όγκο και τη θερμότητα σε έναν φράχτη. Η εκπαίδευση μπορεί να κρυφτεί σε φθηνότερες αγορές ενέργειας και ψυχρότερα κλίματα. Η Inference προτιμά να βρίσκεται κοντά στους χρήστες. Δεν υπάρχει μία τέλεια τοποθεσία. Υπάρχει ένας συμβιβασμός με ένα δελτίο τύπου.

Χρειάζεται να έχω δικό μου κέντρο δεδομένων τεχνητής νοημοσύνης ή πρέπει να νοικιάσω;

Οι περισσότεροι άνθρωποι δεν χρειάζεται να έχουν στην κατοχή τους μία από αυτές τις αίθουσες. Οι υπερεπεκτατικοί κατασκευαστές κατασκευάζουν επειδή το προϊόν είναι ο στόλος. Τα εργαστήρια κατασκευάζουν όταν ο χρόνος της ουράς είναι το σημείο συμφόρησης ή τα δεδομένα δεν μπορούν να φύγουν. Μια τράπεζα, ένα νοσοκομείο, μια κυβέρνηση ή ένας κατασκευαστής με ένα μυστικό σύνολο δεδομένων μπορεί να κάνει ορθολογικό το on-the-rest ή ένα ιδιωτικό colocation. Όλοι οι άλλοι θα πρέπει να νοικιάσουν: colocation έτοιμο για τεχνητή νοημοσύνη, μια κράτηση cloud ή ένα διαχειριζόμενο cluster. Αποκτάτε τους επιταχυντές χωρίς να γίνετε χειριστής σταθμού παραγωγής ενέργειας.

Αναφορές

1. ΙΕΑ - www.iea.org

2. LBNL - datacenters.lbl.gov

3. Το Πράσινο Πλέγμα - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Ινστιτούτο Uptime - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Βρείτε την τελευταία λέξη της Τεχνητής Νοημοσύνης στο επίσημο κατάστημα βοηθών τεχνητής νοημοσύνης

Σχετικά με εμάς