CLM-8B Μόλις Κυκλοφόρησε: Το Νέο Ανοιχτό Μοντέλο Τεχνητής Νοημοσύνης που Ισχυρίζεται ότι Είναι Έως και 9 Φορές Ταχύτερο από το Jev για Πράκτορες

Σύντομη απάντηση: Το CLM-8B είναι ένα ανοιχτό Μοντέλο Συγκριτικής Γλώσσας που στοχεύει σε γρήγορες αποφάσεις για τους πράκτορες, με ισχυρισμούς συντακτών για έως και περίπου 9 φορές χαμηλότερη καθυστέρηση από τους ομοτίμους της κατηγορίας Jev. Αυτά τα στοιχεία παραμένουν ανεπιβεβαίωτα εκτός της ρύθμισης της έκδοσης. Εάν δημιουργείτε πράκτορες κωδικοποίησης, κάντε A/B στο δικό σας harness πριν εμπιστευτείτε τα γραφήματα.

Βασικά συμπεράσματα:

Ισχυρισμοί καθυστέρησης: Αντιμετωπίστε την επιτάχυνση Jev ~9× ως αναφερόμενη από τον συγγραφέα μέχρι να την αναπαράγουν άλλοι.

Καλωδίωση αξιολόγησης: Κρατήστε τα εργαλεία και τις οδηγίες σταθερά κατά τη δοκιμή A/B του CLM-8B.

Υβριδική στοίβα: Χρησιμοποιήστε CLM για hot loops. Διατηρήστε έναν πιο αργό συλλογισμό για νέες εργασίες.

Ανοιχτά βάρη: Επιβεβαιώστε τα αρχεία άδειας χρήσης Apache πριν από την αποστολή εμπορικών forks.

Κίνδυνος κακής χρήσης: Αποκάλυψη αναστρέψιμων εργαλείων και μυστικών όταν οι πράκτορες αποφασίζουν σε χιλιοστά του δευτερολέπτου.

Τι προσπαθεί να είναι το CLM-8B ⚡

Η εκπαίδευση στο Συγκριτικό Γλωσσικό Μοντέλο, όπως περιγράφεται από τους ανθρώπους που προωθούν αυτήν την πτώση, αφορά τη σύνδεση καταστάσεων και ενεργειών και όχι τη μεγιστοποίηση της πιθανότητας εμφάνισης του επόμενου συμβολαίου μεμονωμένα. Με σαφήνεια: το μοντέλο ωθείται να αντιστοιχίσει το "εδώ είναι η κατάσταση" με το "εδώ είναι η κίνηση", περισσότερο σαν επικεφαλής πολιτικής παρά σαν μυθιστοριογράφος. Αυτή είναι η αναλογία του Συστήματος 1 που επιδιώκουν συνεχώς οι ερευνητές - γρήγορη, συνειρμική, με βάση τις αποφάσεις - σε αντίθεση με το περιεχόμενο του Συστήματος 2, που βασίζεται σε μακρά αλυσίδα σκέψης που καίει συμβολικά στοιχεία ενώ σκέφτεται φωναχτά.

Το CLM-8B είναι το πρώτο δημόσιο σύνολο βαρών σε αυτή τη σειρά. Τοποθετείται ως έκδοση ανοιχτής έρευνας με άδεια χρήσης Apache 2.0 για την κάλυψη που συνόδευε την κυκλοφορία, κάτι που έχει σημασία αν θέλετε να βελτιώσετε, να στείλετε ή να διανείμετε χωρίς να χρειαστεί να κάνετε πικνίκ δικηγόρου. Ο Jacky Kwok παρουσίασε την εργασία. Η Azalia Mirhoseini , η οποία συνεργάζεται με το Stanford, την ενίσχυσε. Και το ευρύτερο πλαίσιο σκιαγραφεί μια ομαδική προσπάθεια που συνδέεται με το Stanford και την NVIDIA. Επώνυμοι ερευνητές, δημόσια βαρά, ανοιχτός κώδικας - όχι ανώνυμη διαρροή. Είναι ακόμα νωρίς για αναπαραγωγή από τρίτους, οπότε κρατήστε τον σκεπτικισμό κάπου μεταξύ "ενδιαφέρον" και "δείξε μου το ανεξάρτητο συμβούλιο".

Η κατηγορία μεγέθους είναι οκτώ δισεκατομμύρια παράμετροι, αρκετά μικρή ώστε τα εργαστήρια και οι ανεξάρτητοι κατασκευαστές να μπορούν να την φιλοξενήσουν χωρίς να πουλήσουν νεφρό για χρόνο H100. Υπάρχουν ήδη συζητήσεις για μια μεγαλύτερη της CLM-35B . Το αν αυτή η μεγαλύτερη αδελφή θα διατηρήσει την ιστορία της καθυστέρησης ή θα ανταλλάξει την ταχύτητα με βάθος παραμένει αβέβαιο, αλλά το σήμα του οδικού χάρτη είναι σαφές: αυτή προορίζεται να είναι μια οικογενειακή, όχι μια μοναδική demo κάρτα.

•  Εστίαση: κατάσταση → βρόχοι δράσης για πράκτορες, όχι συγγραφή δοκιμίων
•  Η αδειοδότηση πλαισιώνεται ως Apache 2.0 στην κάλυψη γύρω από την κυκλοφορία
•  Στυλ: Σύστημα 1 / ιστορία εκπαίδευσης προσανατολισμένη στις αποφάσεις
•  Επακόλουθο: αναφέρεται ως σχέδιο ένα μεγαλύτερο CLM-35B

Στυλ Συστήματος 1 έναντι του συνηθισμένου διαδρόμου Token 

Οι περισσότεροι επαγγελματικοί διαχειριστές νομικών κειμένων (LLM) που γνωρίζετε παράγουν κείμενο, ένα token κάθε φορά. Αυτό λειτουργεί εξαιρετικά για πεζογραφία, code dumps και προσεκτικές ιχνηλατήσεις συλλογισμού. Αυτός είναι επίσης ο λόγος για τον οποίο ένας πράκτορας που χρειάζεται είκοσι μικρο-αποφάσεις ανά λεπτό μπορεί να αισθάνεται νωθρός ακόμα και όταν το μοντέλο είναι «έξυπνο». Κάθε βήμα πληρώνει τον αυτοπαλίνδρομο φόρο.

Το αντιπαραβολικό μοντέλο γλώσσας αντιστρέφει την έμφαση. Αντί να ζητάτε από το δίκτυο να αφηγηθεί τον τρόπο που το οδηγεί σε μια απάντηση, το εκπαιδεύετε να προτιμά τη σωστή ενέργεια δεδομένης μιας κατάστασης - σκεφτείτε αντιπαραβολικές κινήσεις μεταξύ καλών και κακών κινήσεων, όχι απλώς ρέουσες συνέχειες. Οι κατασκευαστές γνωρίζουν ήδη το μοτίβο: μερικές φορές δεν χρειάζεστε μια λογική χιλιάδων λέξεων. χρειάζεστε το μοντέλο να πληκτρολογεί pytest αντί για rm -rf. Οι γρήγοροι βρόχοι ενδιαφέρονται για αυτή τη διάκριση.

Τίποτα από αυτά δεν σημαίνει ότι το CLM-8B δεν μπορεί να μεταδώσει κείμενο. Σημαίνει ότι ο στόχος της εκπαίδευσης και η ιστορία αξιολόγησης στρέφονται προς τον έλεγχο μέσω πρακτόρων. Αυτό είναι ένα διαφορετικό σχήμα προϊόντος από το "μοντέλο συνομιλίας που μπορεί επίσης να κάνει κλήσεις μέσω εργαλείων". Ο κλάδος έχει αφιερώσει χρόνια βελτιώνοντας τα μοντέλα στο να μιλάνε για εργαλεία, ενώ παράλληλα περιορίζεται η ίδια η συζήτηση. Ένα μοντέλο που δίνει προτεραιότητα στις αποφάσεις είναι το είδος της πλάγιας κίνησης που είτε φαίνεται προφανής εκ των υστέρων είτε αποτυγχάνει όταν τα σημεία αναφοράς μπερδεύονται. Και τα δύο αποτελέσματα είναι πιθανά.

Αριθμοί Ταχύτητας και Συγκεντρωτικών Δεικτών (Αντιμετωπίστε ως Αιτήσεις)

Το σημείο που καθοδηγεί τις αναρτήσεις στα μέσα κοινωνικής δικτύωσης είναι το εξής: οι promoters ισχυρίζονται έως και περίπου 9 φορές ταχύτερη εξαγωγή συμπερασμάτων από τα μοντέλα κλάσης Jev. Μετά από ελαφριά βελτίωση, αναφέρουν επίσης ισχυρά αποτελέσματα κωδικοποίησης με πράκτορες - το DeepSWE είχε επιτυχία περίπου 81,6% και το Terminal-Bench 2.1 περίπου 87,6%. Σε ορισμένες αξιολογήσεις, περιγράφουν την απόδοση μηδενικού αποτελέσματος ως συγκρίσιμη με το Jev, ενώ η καθυστέρηση παραμένει πολύ χαμηλότερη. Μια περίληψη συμπλέγματος που κυκλοφορεί με την κουβέντα έκδοσης ανέφερε περίπου 32 ms χρόνους απόκρισης κλάσης σε μια ρύθμιση τερματικού bench. Φράση που αναφέρθηκε και ισχυρίστηκε, δεν ελέγχθηκε ανεξάρτητα σε αυτό το άρθρο.

Αν αυτά τα στοιχεία καθυστέρησης γενικευτούν, η πρακτική νίκη είναι λιγότερες GPU ανά ταυτόχρονο agent ή περισσότεροι agent ανά GPU. Οι κωδικοποιητές που καταστρέφουν ένα κέλυφος είναι ιδιαίτερα ευαίσθητοι επειδή η αναμονή σε ρολόι τοίχου συσσωρεύεται. Μια απόφαση 200 ms και μια απόφαση 30 ms μοιάζουν με διαφορετικά προϊόντα μετά από μερικές εκατοντάδες γύρους. Οι χρήστες συχνά κατηγορούν ότι «το μοντέλο είναι χαζό», ενώ το πιο έντονο πρόβλημα είναι η διαδραστική καθυστέρηση.

Παρόλα αυτά - και αυτή είναι η παράγραφος για την επίβλεψη ενηλίκων - τα παγκάκια συγγραφέων κάνουν μάρκετινγκ μέχρι κάποιος άλλος να τα αναπαράγει σε κοινόχρηστο υλικό με κοινές προτροπές. Τα αποτελέσματα ελαφριάς βελτιστοποίησης μπορούν επίσης να κρύψουν πολλά κενά ασφαλείας. Οι ισχυροί αριθμοί DeepSWE και Terminal-Bench είναι συναρπαστικοί ακριβώς επειδή αυτές οι σουίτες τιμωρούν τους εύθραυστους παράγοντες, αλλά ο ενθουσιασμός δεν είναι αναπαραγωγή. Κρατήστε μια αυτοκόλλητη σημείωση που να λέει ΑΠΑΙΤΗΣΗ στο 9× και σε αυτό το σχήμα κλάσης 32 ms. 

Πίνακας σύγκρισης: Μεταπτυχιακά LLM σε στυλ Token-by-Token έναντι Πλαισίου Στυλ CLM

Οι πίνακες βοηθούν όταν η γλώσσα του μάρκετινγκ γίνεται ασταθής. Αυτός ο πίνακας συγκρίνει τις τυπικές συνήθειες δημιουργίας LLM με την ιστορία του Μοντέλου Συγκριτικής Γλώσσας, όπως την περιγράφουν οι ερευνητές. Τα κελιά είναι λίγο ανομοιόμορφα επίτηδες, επειδή οι συγκεκριμένες συγκρίσεις είναι πάντα άνισες.

Χρησιμοποιήστε τον πίνακα ως νοητικό μοντέλο, όχι ως ετυμηγορία. Οι ομάδες προϊόντων πρέπει να μετρήσουν τη δική τους ικανότητα αξιοποίησης: τα σχήματα εργαλείων, η πολιτική επανάληψης και ο θόρυβος περιβάλλοντος θα αλλάξουν τις βαθμολογίες περισσότερο από ό,τι επιτρέπει η τράπουλα διαφανειών.

Ποιος Κρύβεται Πίσω από τον Θόρυβο 👤

Η αναφορά έχει σημασία, επειδή οι ανοιχτές κυκλοφορίες τεχνητής νοημοσύνης κυμαίνονται από προσεκτικές κυκλοφορίες εργαστηρίων έως μυστηριώδη torrents. Αυτή η έκδοση έχει πρόσωπα. Ο Jacky Kwok εισήγαγε το CLM. Η Azalia Mirhoseini βοήθησε να γίνει ευρύτερη. Η κάλυψη πλαισιώνει σταθερά μια ερευνητική συνεργασία που συνδέεται με το Stanford και την NVIDIA. Αυτό δεν κάνει μαγικά κάθε αριθμό αληθινό, αλλά βάζει στο παιχνίδι τη φήμη. Οι ανοιχτές κυκλοφορίες με επώνυμους ερευνητές τείνουν να υποβάλλονται σε δοκιμές αντοχής πιο γρήγορα από τις ανώνυμες κυκλοφορίες - οι συνομήλικοί τους αγαπούν έναν δημόσιο στόχο.

Για τους κατασκευαστές, η πρακτική συνέπεια είναι η πρόσβαση. Τα ανοιχτά βάρη συν μια άδεια χρήσης τύπου Apache 2.0 (όπως καλύπτεται κατά την κυκλοφορία) συνήθως σημαίνουν ότι μπορείτε να πειραματιστείτε εμπορικά με λιγότερα προβλήματα από τις άδειες μόνο για έρευνα. Ελέγξτε μόνοι σας τα πραγματικά αρχεία αδειών χρήσης στην κυκλοφορία πριν δημοσιεύσετε οτιδήποτε. Οι περιλήψεις κάλυψης δεν αποτελούν συμβόλαιο. Αυτό μπορεί να ακούγεται σχολαστικό, αλλά η σχολαστικότητα των αδειών χρήσης σώζει τις νεοσύστατες επιχειρήσεις.

Το μοτίβο κοινωνικής ενίσχυσης είναι οικείο: ανάρτηση ερευνητή, αναρτήσεις σεβαστών ενισχυτών με αποσπάσματα και μετά ένα κύμα "πρακτόρων που επιτέλους λύθηκαν". Φιλτράρετε για άτομα που μοιράζονται λεπτομέρειες για την καλωδίωση. Τα στιγμιότυπα οθόνης μιας μεμονωμένης επιτυχημένης εκτέλεσης κώδικα είναι θέατρο διάθεσης, όχι επιστήμη. 🛰️

Γιατί οι βρόχοι κατάστασης-σε-δράση διαθέτουν πρακτορική κωδικοποίηση 

Ο πρακτορικός κώδικας είναι ένα σκληρό περιβάλλον. Το μοντέλο βλέπει ένα στιγμιότυπο αποθετηρίου, μια μεταγραφή κελύφους, ίσως μια αποτυχημένη δοκιμή και πρέπει να επιλέξει μια επεξεργασία ή μια εντολή. Η επιτυχία είναι δυαδική πιο συχνά από τη συνομιλία. Είτε η δοκιμή γίνεται πράσινη είτε όχι. Αυτό το σχήμα ανταμοιβής ευνοεί πολιτικές που επιλέγουν καθαρά ενέργειες έναντι μοντέλων που γράφουν όμορφα δοκίμια αποτυχίας.

Οι συγκριτικές ιστορίες εκπαίδευσης ταιριάζουν σε αυτόν τον κόσμο επειδή ωθούν ρητά το δίκτυο προς προτιμώμενες ενέργειες υπό μια δεδομένη κατάσταση. Σκεφτείτε το σαν να διδάσκετε σε έναν νεότερο μηχανικό «όταν δείτε αυτήν την κλάση σφάλματος, αναζητήστε αυτό το μοτίβο διόρθωσης» αντί για «γράψτε μια ανάρτηση ιστολογίου σχετικά με το γιατί οι μεταγλωττιστές είναι δύσκολοι». Ο νεότερος μηχανικός εξακολουθεί να χρειάζεται κρίση. Η συντόμευση απλώς μειώνει την πρόσμειξη.

Η καθυστέρηση εδώ συνδυάζεται. Ας υποθέσουμε ότι ένας πράκτορας κάνει κατά μέσο όρο ογδόντα βήματα εργαλείων για να επιτύχει μια μέτρια διόρθωση σφάλματος. Ας ξυρίσουμε 150 ms ανά βήμα και ανακτούμε δώδεκα δευτερόλεπτα ρολογιού τοίχου - η οποία είναι η διαφορά μεταξύ μιας κατάστασης ροής και ενός χρήστη που πατάει alt-tab για να ελέγξει το email. Ομάδες που διαχειρίζονται στόλους πρακτόρων αισθάνονται αυτά τα μαθηματικά και στους λογαριασμούς cloud. Μια ισχυριζόμενη επιτάχυνση συμπερασμάτων τάξης μεγέθους έναντι ενός ομότιμου χρήστη κατηγορίας Jev, ακόμα κι αν τελικά καταλήξει "μόνο" 4× στην άγρια ​​φύση, εξακολουθεί να αναδιατάσσει τον σχεδιασμό χωρητικότητας.

Υπάρχει μια ασταθής μεταφορά που χρησιμοποιώ συνεχώς στις συσκέψεις: τα μοντέλα συνομιλίας με διακριτικό είναι σαν να συζητάμε για τη διαδρομή σε κάθε διασταύρωση, ενώ ένας ελεγκτής τύπου System 1 μοιάζει περισσότερο με μυϊκή μνήμη για οδήγηση στην πόλη. Η μυϊκή μνήμη αποτυγχάνει σε μια νέα πόλη. Το ίδιο ισχύει και για ένα στενά συντονισμένο μοντέλο δράσης όταν η κουλτούρα του αποθετηρίου είναι ιδιοσυγκρασιακή. Εξακολουθείτε να θέλετε διαβουλευτικούς τρόπους για νέες επιλογές αρχιτεκτονικής. θέλετε αντανακλαστικά για το πεντηκοστό "διορθώστε την εισαγωγή και επαναλάβετε". Οι υβριδικές στοίβες - γρήγορος ελεγκτής τύπου CLM συν ένα βαρύτερο reasoner σε σκληρούς κλάδους - είναι πιθανώς εκεί που προσγειώνονται σοβαρά συστήματα, ακόμα κι αν οι θέσεις κυκλοφορίας πουλήσουν ένα μόνο μοντέλο ήρωα. 🚦

Αξίζει επίσης να το πούμε δυνατά: οι πάγκοι κωδικοποίησης πρακτόρων όπως το DeepSWE και το Terminal-Bench επιβραβεύουν την πλατφόρμα. Η ποιότητα της αξιοποίησης, οι λίστες επιτρεπόμενων εργαλείων και οι προτροπές ανάκτησης μπορούν να μεταβάλουν τα ποσοστά επιτυχίας κατά διψήφιο ποσοστό. Όταν δείτε ~81,6% ή ~87,6% μετά από ελαφριά βελτιστοποίηση, ερευνήστε ποιο περιτύλιγμα βρισκόταν γύρω από τα βάρη. Αυτό δεν είναι σκιά. Είναι ο τρόπος που λειτουργεί το πεδίο.

Ανοιχτά Βάρη, Μικρορύθμιση και η Σκιά 35B 

Τα ανοιχτά βάρη αλλάζουν την κοινωνική δυναμική ενός ισχυρισμού. Τα κλειστά μοντέλα API μπορούν να εμφανίσουν ένα γράφημα και να σας αφήσουν να μαντεύετε για μόλυνση, κόλπα αποκωδικοποίησης ή μυστικά μηνύματα συστήματος. Με παραμέτρους που μπορείτε να κατεβάσετε, μπορείτε τουλάχιστον να ελέγξετε το θέμα. Η βελτιστοποίηση του CLM-8B για το εσωτερικό σας περιβάλλον κωδικοποίησης - τους κανόνες lint, το CLI ανάπτυξης, την τοπολογία monorepo - είναι η ρεαλιστική πορεία προς τους λαμπερούς αριθμούς του bench, όχι η μαγεία του μηδενικού από την πρώτη κιόλας μέρα.

Το πλαίσιο Apache 2.0 (σύμφωνα με την κάλυψη) είναι φιλικό προς τους δημιουργούς: γλώσσα χορήγησης διπλωμάτων ευρεσιτεχνίας, σαφείς κανόνες αναδιανομής, λιγότερες παγίδες "μόνο για έρευνα". Και πάλι: διαβάστε τα αρχεία. Οι συγγραφείς κάλυψης συνοψίζουν· οι δικηγόροι ειδικεύονται.

Το σχεδιαζόμενο CLM-35B είναι ο ελέφαντας στο χρονοδιάγραμμα. Τα μεγαλύτερα μοντέλα συχνά ανακτούν την επιδεξιότητά τους και χάνουν μέρος της γοητείας τους «μικροσκοπικής και εξαιρετικά γρήγορης», εκτός εάν η απόσταξη ή τα κερδοσκοπικά κόλπα κρατήσουν την καθυστέρηση υπό έλεγχο. Εάν η έκδοση των οκτώ δισεκατομμυρίων είναι το σπορ αυτοκίνητο και η έκδοση των τριάντα πέντε δισεκατομμυρίων είναι το τουριστικό sedan, οι ομάδες μπορεί να κρατήσουν και τα δύο: το 8B για hot loops, το 35B για αυστηρό σχεδιασμό. Ή το μεγαλύτερο μοντέλο μπορεί απλώς να κυριαρχήσει εάν το υλικό συνεχίσει να γίνεται φθηνότερο. Ποιο μέλλον θα έρθει είναι ακόμα αβέβαιο. Οι σημειώσεις κυκλοφορίας του μέλλοντος θα αποφασίσουν, όχι αυτή η παράγραφος.

Ένας ανεπαίσθητος κίνδυνος με τα μοντέλα ανοιχτών πρακτόρων: οι άνθρωποι θα τα βάλουν σε CI χωρίς όρια ρυθμού και θα ανακαλύψουν την άμεση έγχυση μέσω κακόβουλων README. Τα γρήγορα μοντέλα ενισχύουν την κακή χρήση με τον ίδιο τρόπο που ενισχύουν την πρακτική αξία. Τα προστατευτικά κιγκλιδώματα δεν είναι προαιρετικό cosplay. Είναι προϊόν. 

• Βελτιστοποιήστε τα δικά σας ίχνη πριν κρίνετε την ποιότητα
• Διατηρήστε μια πιο αργή συλλογιστική ως καταπακτή διαφυγής για νέες εργασίες
• Λανθάνουσα κατάσταση οργάνου p50/p95 στην καλωδίωση σας, όχι μόνο ακρίβεια
• Υποθέστε ότι το 35Β θα μετατοπίσει ξανά το όριο Pareto

Διαβάζοντας τη σύγκριση Jev χωρίς να χιονίσει 

Οι συγκρίσεις με μοντέλα κλάσης Jev κάνουν ρητορική δουλειά. Δημιουργούν έναν ομότιμο στο επίπεδο ταχύτητας πρακτόρων, έτσι ώστε η φράση "έως 9 φορές ταχύτερη" να έχει μια αναφορά. Οι σχετικοί ισχυρισμοί χρειάζονται μια άγκυρα, και αυτό είναι λογικό. Ο κίνδυνος είναι η κατάρρευση ολόκληρης της στοίβας αξιολόγησης σε έναν μόνο πολλαπλασιαστή. Το μέγεθος της παρτίδας, η ακρίβεια, οι ρυθμίσεις αποκωδικοποίησης, το μήκος του περιβάλλοντος και η σειριοποίηση κλήσεων εργαλείων αναδιαμορφώνουν τι σημαίνει "ταχύτερη", και αυτά τα κουμπιά σπάνια εμφανίζονται στην ίδια διαφάνεια.

Όταν μια σύνοψη συμπλέγματος αναφέρει ~32 απαντήσεις κλάσης ms σε μια ρύθμιση τερματικού, αντιμετωπίστε τη λέξη "response" ως μια ασαφή ετικέτα μέχρι κάποιος να διευκρινίσει εάν σημαίνει πρώτο διακριτικό, JSON πλήρους δράσης ή ένα προσωρινά αποθηκευμένο πρόθεμα. Αυτές οι διακρίσεις μετατρέπουν τα χιλιοστά του δευτερολέπτου μάρκετινγκ σε ώρες μηχανικής. Η συγκρίσιμη ποιότητα μηδενικής απόδοσης με χαμηλότερη καθυστέρηση είναι το ιδανικό ταίριασμα. Εάν ανεξάρτητες ομάδες επιβεβαιώσουν έστω και το μισό αυτού του ονείρου, η εκπαίδευση σε στυλ CLM κερδίζει μια μόνιμη θέση σε συναντήσεις αρχιτεκτονικής.

Μέχρι τότε, αντιμετωπίστε τον Jev ως μια αφήγηση αντιπαλότητας περισσότερο παρά ως έναν καθιερωμένο πίνακα κατάταξης. Οι αντιπαλότητες πουλάνε αναρτήσεις. Οι KPI παραγωγής σας δεν ενδιαφέρονται για την αφήγηση. Μετρήστε την επιτυχία της εργασίας, το δολάριο ανά λυμένο εισιτήριο και το ποσοστό ανθρώπινης παρέμβασης. Εάν ένα fork Μοντέλου Συγκριτικής Γλώσσας κερδίσει αυτά, γιορτάστε. Εάν κερδίσει μόνο το Twitter, συνεχίστε να περπατάτε. 🚶

Ώρα για μικρές αντιφάσεις: οι αφηγήσεις περί αντιπαλότητας εξακολουθούν να έχουν μεγάλη σημασία. Αναγκάζουν τα εργαστήρια να δημοσιεύουν αριθμούς αντί για μια αέρινη διάθεση. Απλώς μην συγχέετε τον πίνακα αποτελεσμάτων με το άθλημα.

Τι χρειάζεται αυτή η κυκλοφορία για να γίνει σωστά 

Για να έχει σημασία το CLM-8B πέρα ​​από έναν κύκλο ειδήσεων, πρέπει να γίνουν ορισμένα πράγματα:

• Αντιγραφή: οι εξωτερικές ομάδες θα πρέπει να είναι σε θέση να αντιστοιχίσουν την καθυστέρηση των τίτλων και τα ποσοστά επιτυχίας κωδικοποίησης με τεκμηριωμένες συνταγές.
• Διαφάνεια αξιοποίησης: κοινοποιήστε τις λεπτομέρειες περιτυλίγματος παράγοντα που παρήγαγαν τις βαθμολογίες DeepSWE και Terminal-Bench.
• Έγγραφα που δεν προϋποθέτουν τηλεπάθεια εργαστηρίου: σαφή σενάρια βελτιστοποίησης, εντολές αξιολόγησης και σημειώσεις υλικού.
• Τρόποι αποτυχίας: δείχνουν πού καταρρέουν οι αποφάσεις τύπου Συστήματος 1 - νέα API, ασαφή αιτήματα, λειτουργίες ευαίσθητες στην ασφάλεια.
• Διαδρομή αναβάθμισης: διευκρινίστε πώς σχετίζεται το CLM-35B, ώστε οι ομάδες να μην υπερφορτώσουν τη στοίβα τους σε ένα αδιέξοδο 8B.

Αν αυτά τα κουτάκια παραμείνουν κενά, το μοντέλο γίνεται ένα ακόμη ενδιαφέρον βάρος χαρτιού. Αν συμπληρωθούν, οι πλατφόρμες των πρακτόρων αποκτούν μια συγκεκριμένη επιλογή εξαρτήματος: διαβουλευτικό LLM για σκληρή σκέψη, αντιπαραβαλλόμενο γρήγορο μοντέλο για τα χέρια που τρέμουν. Αυτός ο καταμερισμός εργασίας μοιάζει πιο ενήλικος από το να προσποιείται κανείς ότι ένα μεγαμοντέλο πρέπει να κάνει κάθε δουλειά με κάθε προϋπολογισμό καθυστέρησης.

Πρακτικές συμβουλές για κατασκευαστές που κάνουν αποστολές 

Δεν χρειάζεται να ξαναγράψετε τη στοίβα σας αύριο. Χρειάζεστε ένα σχέδιο για την αξιολόγηση μοντέλων ταχείας λήψης αποφάσεων. Ξεκινήστε δημιουργώντας ένα κομμάτι του πράκτορά σας που είναι κρίσιμο για την καθυστέρηση - ίσως το μικρο-βρόχο τερματικού ή το βήμα "επιλογή επόμενου grep" - και A/B ένα CLM-8B βελτιστοποιήστε το με βάση την τρέχουσα εργασία σας. Διατηρήστε σταθερή την καλωδίωση. Καταγράψτε τα πάντα.

Προσέξτε για σιωπηλές παλινδρομήσεις ποιότητας: τα μοντέλα που απαντούν άμεσα με σίγουρες λανθασμένες ενέργειες είναι χειρότερα από τα αργά σωστά σε αποθετήρια υψηλού ρίσκου. Προσθέστε βήματα επαλήθευσης. Προτιμήστε αναστρέψιμα εργαλεία. Προϋπολογίστε μια δεύτερη κλήση μοντέλου όταν η εμπιστοσύνη είναι χαμηλή - ναι, αυτό καταναλώνει μέρος της νίκης στην ταχύτητα, και αυτό είναι εντάξει. Η ταχύτητα χωρίς φρένα είναι ο τρόπος με τον οποίο οι επιδείξεις μετατρέπονται σε διακοπές λειτουργίας.

Από την οργανωτική πλευρά, ενημερώστε τα φύλλα χωρητικότητας με μια στήλη για "ενέργειες ανά δευτερόλεπτο ανά GPU" αντί μόνο για διακριτικά ανά δευτερόλεπτο. Τα φόρτα εργασίας των πρακτόρων ενδιαφέρονται για τις αποφάσεις, όχι για την απόδοση της ποίησης. Εάν ο ισχυρισμός των συγγραφέων για ~9× επιβιώσει έστω και εν μέρει από την επαφή με το υλικό σας, το υπολογιστικό σας φύλλο θα φαίνεται διαφορετικό. Εάν όχι, το μάθατε φτηνά.

Και παρακαλώ, για την αγάπη των επιχειρήσεων, μην επικολλάτε μυστικά παραγωγής σε έναν πειραματικό πράκτορα επειδή το μοντέλο σας φάνηκε «ασφαλές». Τα μοντέλα με γρήγορο άνοιγμα διευκολύνουν την ανάπτυξη σκιωδών συστημάτων που κανείς δεν εξετάζει. Η διαδικασία εξακολουθεί να έχει σημασία. 

Ανοιχτά Θέματα που Ακόμα Κρέμονται 

Μερικά ανεπίλυτα θέματα με εμποδίζουν από την πλήρη λειτουργία προώθησης:

• Το ποσοστό της αναφερόμενης επιτυχίας κωδικοποίησης που οφείλεται στα βάρη έναντι της βελτιστοποίησης των δεδομένων και του περιτυλίγματος παραμένει ασαφές.
• Το πλαίσιο του Συστήματος 1 ενδέχεται να αποδυναμωθεί όταν οι εργασίες απαιτούν μακροπρόθεσμο σχεδιασμό αντί για τοπικά αντανακλαστικά κελύφους.
• Το CLM-35B μπορεί να διατηρήσει την ιστορία της καθυστέρησης ή να καθιερωθεί ως ένα ακόμη ισχυρό LLM μεσαίου μεγέθους.
• Οι προτιμήσεις αντιπαραβαλλόμενης δράσης μπορούν να γίνουν εύθραυστες υπό την αλλαγή κατανομής - νέες γλώσσες, νέα CLI cloud, αντίπαλα αποθετήρια.
• Η ιστορία για την ασφάλεια χρειάζεται ακόμα σάρκα και οστά όταν οι ενέργειες εκτελούνται σε χιλιοστά του δευτερολέπτου.

Αυτά δεν είναι τσιγάρα που προορίζονται να βάλουν στην ομάδα. Είναι οι έλεγχοι που πρέπει να κάνει κάθε σοβαρή αξιολόγηση υιοθέτησης. Οι πρώιμες ανοιχτές κυκλοφορίες αξίζουν προσεκτικό έλεγχο και τριβή, όχι τυφλές εγκαταστάσεις.

Συμπέρασμα 

Το CLM-8B είναι ένα ανοιχτό, Apache-framed (ανά κάλυψη) Συγκριτικό Γλωσσικό Μοντέλο που στοχεύει σε γρήγορη συμπεριφορά από κατάσταση σε δράση για πράκτορες, το οποίο παρουσιάστηκε δημόσια από τον Jacky Kwok με ενίσχυση από την Azalia Mirhoseini και πλαισιώνεται ως έρευνα που συνδέεται με το Stanford/NVIDIA. Οι τίτλοι ισχυρίζονται - έως και περίπου 9 φορές ταχύτερο από την εξαγωγή συμπερασμάτων κλάσης Jev, ισχυρά αποτελέσματα DeepSWE και Terminal-Bench μετά από ελαφριά βελτιστοποίηση, συγκρίσιμη ποιότητα μηδενικής βολής με πολύ χαμηλότερη καθυστέρηση, συμπεριλαμβανομένης της συζήτησης για αποκρίσεις τερματικού κλάσης ~32 ms - και εξακολουθούν να αναμένουν ευρεία επιβεβαίωση από τρίτους. Ένα μεγαλύτερο CLM-35B βρίσκεται στον ορίζοντα.

Αν κατασκευάζετε συστήματα κωδικοποίησης πρακτόρων, αυτό αξίζει μια στοχευμένη αξιολόγηση, όχι μια θρησκεία. Αντιμετωπίστε το ως έναν υποψήφιο ελεγκτή Συστήματος 1 σε μια υβριδική στοίβα, μετρήστε τη δική σας καλωδίωση και κρατήστε το αυτοκόλλητο CLAIM σε κάθε διάγραμμα μέχρι να εμφανιστούν ανεξάρτητες εκτελέσεις. Το ενδιαφέρον κομμάτι δεν είναι ένα ακόμη μοντέλο συνομιλίας με νέο λογότυπο. Το ενδιαφέρον κομμάτι είναι αν η εκπαίδευση που βασίζεται σε αποφάσεις μπορεί να κάνει τους πράκτορες να αισθάνονται άμεσοι χωρίς να τους κάνει να κάνουν απερίσκεπτα λάθος.

Πρακτικό παράδειγμα: Δημιουργία αξιολόγησης μικροβρόχου παράγοντα κρίσιμης καθυστέρησης για το CLM-8B

Τα γραφήματα συγγραφέων σχετικά με το CLM-8B που μόλις κυκλοφόρησε: Το νέο μοντέλο ανοιχτής τεχνητής νοημοσύνης που ισχυρίζεται ότι είναι έως και 9 φορές πιο γρήγορο από τον Jev για πράκτορες μπορεί να φαίνονται πειστικά. Η μόνη ψήφος που μετράει είναι η ζώνη ασφαλείας σας. Δείτε πώς μια ανεξάρτητη ομάδα εργαλείων από το Ηνωμένο Βασίλειο αντιμετώπισε το CLM-8B ως υποψήφιο ελεγκτή System 1 - όχι ως αντικατάσταση συνομιλίας - και το μέτρησε στον δικό της μικρο-βρόχο τερματικού.

Σενάριο

Ο Σαμ διαχειρίζεται ένα μικρό προϊόν που χρησιμοποιεί ήδη έναν βαρύτερο παράγοντα κωδικοποίησης για αναδιαμορφώσεις πολλαπλών αρχείων. Το επώδυνο κομμάτι είναι ο βρόχος εργασίας: διαβάστε μια αποτυχημένη μεταγραφή δοκιμής, επιλέξτε το επόμενο κέλυφος ή ενέργεια επεξεργασίας, εκτελέστε το, επαναλάβετε. Οι χρήστες παραπονιούνται λιγότερο για βαρετές απαντήσεις και περισσότερο για καθυστέρηση στα πενήντα βήματα του εργαλείου. Οι αναρτήσεις στα μέσα κοινωνικής δικτύωσης ενισχύουν τα βάρη του Μοντέλου Συγκριτικής Γλώσσας και μια δηλωμένη επιτάχυνση ~9× έναντι των ομοτίμων κατηγορίας Jev, καθώς και ισχυρά στοιχεία DeepSWE / Terminal-Bench μετά από ελαφριά βελτιστοποίηση. Ο Σαμ αρνείται να ξαναγράψει την παραγωγή σε ένα διάγραμμα τύπου.

Δημιουργούν έναν μικρο-βρόχο κρίσιμο για την καθυστέρηση: είκοσι διορθωμένα ίχνη διόρθωσης σφαλμάτων από το δικό τους monorepo. Το τρέχον εργαλείο παραμένει η διαβουλευτική διαδρομή για νέα αρχιτεκτονικά εισιτήρια. Το CLM-8B - εάν φιλοξενηθεί και βελτιωθεί ελαφρώς στα ίχνη του - επιτρέπεται να ανταγωνιστεί μόνο στο βήμα "επιλογή επόμενης αναστρέψιμης ενέργειας", με μια πιο αργή συλλογιστική ως καταπακτή διαφυγής όταν η εμπιστοσύνη είναι χαμηλή.

Ο στόχος είναι ένα A/B που διατηρεί την καλωδίωση σταθερή: ίδια εργαλεία, ίδια λίστα επιτρεπόμενων, ίδια πολιτική επανάληψης. Καταγραφή ενεργειών ανά δευτερόλεπτο, καθυστέρησης p50/p95, επιτυχίας εργασιών και ανθρώπινων παρεμβάσεων - στη συνέχεια, απόφαση για το εάν τα ανοιχτά βάρη κερδίζουν μια θέση.

Τι χρειάζεται ο βοηθός

• Είκοσι ανώνυμα ίχνη δοκιμών που απέτυχαν από πραγματική εργασία (μόνο εισροές + επιτρεπόμενα εργαλεία)
• Ένα σταθερό περιτύλιγμα πράκτορα: σχήμα εργαλείου, λίστα επιτρεπόμενων, μέγιστα βήματα και ένας κλάδος «κλήση αργής συλλογιστικής»
• Βασικές βαθμολογίες στο τρέχον μοντέλο για τις ίδιες είκοσι εργασίες
• Σημειώσεις υλικού για τον κεντρικό υπολογιστή CLM-8B (κλάση GPU, ακρίβεια, παρτίδα) ώστε η λέξη "ταχύτερη" να έχει αναφορά
• Ένας κανόνας αυτοκόλλητου CLAIM: συγγραφέας DeepSWE / Terminal-Bench / ~9× / ~32 ms τα στοιχεία παραμένουν επισημασμένα μέχρι αυτή η καλωδίωση να αναπαράγει κάτι
• Ένας ανθρώπινος ιδιοκτήτης που εξετάζει λανθασμένες αλλά γρήγορες ενέργειες πριν από οποιαδήποτε εφαρμογή CI bolt on

Παράδειγμα οδηγιών

Με βοηθάτε να σχεδιάσω ένα δίκαιο A/B για το CLM-8B ως ελεγκτή γρήγορης κατάστασης → δράσης μέσα στον παράγοντα κωδικοποίησης μας. Χρησιμοποιήστε μόνο τα στοιχεία καλωδίωσης που επικολλώ. Μην επινοείτε πολλαπλασιαστές καθυστέρησης, βαθμολογίες DeepSWE ή όρους άδειας χρήσης.

Εργασία: Από τα είκοσι ονόματα εργασιών μου και τις τρέχουσες σημειώσεις βάσης, συντάξτε (1) ένα φύλλο βαθμολόγησης με στήλες Εργασία / Μοντέλο / Βήματα / Ρολόι τοίχου / Επιτυχία (επιτυχία/αποτυχία) / Ανθρώπινη παρέμβαση (ναι/όχι) / Σημειώσεις, (2) ένα πρωτόκολλο έξι κουκκίδων που διατηρεί το περιτύλιγμα ίδιο σε όλα τα μοντέλα και (3) έναν κανόνα απόφασης με σαφή και καθημερινή διατύπωση για το πότε το CLM-8B μπορεί να ελέγχει τον μικρο-βρόχο έναντι του πότε κλιμακώνουμε στον αργό συλλογισμό.

Περιορισμοί: Αγγλικά Ηνωμένου Βασιλείου. Επισημάνετε κάθε αριθμό που αναφέρεται από τον συγγραφέα ως CLAIM (ΑΞΙΩΣΗ), εάν εμφανίζεται. Προτιμήστε αναστρέψιμα εργαλεία. Απαγορεύστε τη γλώσσα «οι πράκτορες τελικά λύθηκαν». Εάν λείπει μια μέτρηση από την επικόλληση, γράψτε [ΧΡΕΙΑΖΕΤΑΙ ΜΕΤΡΗΣΗ] αντί για εικασία.

Έξοδος: η κεφαλίδα του φύλλου βαθμολόγησης και μία συμπληρωμένη γραμμή παραδείγματος χρησιμοποιώντας σύμβολα κράτησης θέσης, τις κουκκίδες πρωτοκόλλου και, στη συνέχεια, τον κανόνα κλιμάκωσης/διατήρησης. Χωρίς προοίμιο.

Πώς να το δοκιμάσετε

• Εκτελέστε τις ίδιες δέκα ιχνηλασίες στον τρέχοντα workhorse και σε μια μικρορύθμιση CLM-8B με το ίδιο wrapper. Επιβεβαιώστε ότι μόνο το ρολόι τοίχου και η επιτυχία διαφέρουν - όχι οι λίστες εργαλείων.
• Ρωτήστε: «Ποιο γράφημα συγγραφέα μπορεί να αλλάξει την παραγωγή αυτή την εβδομάδα;» Μια καλή απάντηση: κανένα μέχρι αυτή η δέσμη να δείξει μια νίκη στην επιτυχία και την καθυστέρηση μαζί.
• Περίπτωση αιχμής: Το CLM-8B απαντά σε ~30 ms με μια πρόταση καταστροφικής εντολής - επιβεβαιώστε τη λίστα επιτρεπόμενων και εντοπίστε το από ανθρώπινη αναθεώρηση πριν από την CI.
• Περίπτωση αιχμής: νέο εισιτήριο API εκτός των είκοσι ιχνών - επιβεβαιώνει ότι το κατέχει ο αργός συλλογιστής, όχι το αντανακλαστικό μοντέλο.
• Έλεγχοι αποδοχής: (1) δεν υπάρχει επινοημένη αξίωση 9× ως μετρούμενο αποτέλεσμα, (2) καταγράφηκε η καθυστέρηση p50 και p95, (3) ο παρονομαστής επιτυχίας είναι οι είκοσι εργασίες, (4) καταμετρήθηκαν οι ενέργειες με λανθασμένη ταχύτητα, (5) ο έλεγχος Apache/αδειών γίνεται εκτός σύνδεσης πριν από οποιοδήποτε σχέδιο εμπορικής αποστολής.

Αποτέλεσμα

Ενδεικτικό αποτέλεσμα (ενδεικτικό εκτίμηση για μία τριμελή ομάδα εργαλείων σε είκοσι σταθερές ιχνηλασίες monorepo, όχι ανεξάρτητη επανάληψη εργαστηρίου των πάγκων των συγγραφέων): Ο βασικός εργαζόμενος ολοκλήρωσε 14 από τις 20 ιχνηλασίες χωρίς ανθρώπινη βοήθεια. μέση καθυστέρηση βημάτων περίπου 180 ms. δύο ιχνηλασίες χρειάστηκαν έναν άνθρωπο μετά από λανθασμένη επεξεργασία. Μετά από μια ελαφριά λεπτή ρύθμιση του CLM-8B σε εσωτερικές ιχνηλασίες (ίδιο περιτύλιγμα), 15 από τις 20 πέρασαν χωρίς βοήθεια. μέση καθυστέρηση βημάτων περίπου 45 ms στον κεντρικό υπολογιστή μίας GPU. μία επιπλέον ενέργεια λάθος γρήγορης ρύθμισης εντοπίστηκε από τη λίστα επιτρεπόμενων πριν από την εφαρμογή. Ο χρόνος χρονισμού για τη σουίτα είκοσι ιχνηλατήσεων μειώθηκε από περίπου 38 λεπτά σε περίπου 22 λεπτά, συμπεριλαμβανομένων των βημάτων επαλήθευσης. Σε μια λίστα ελέγχου υγιεινής (σταθερή καλωδίωση, ετικέτες CLAIM διατηρούνται στα γραφήματα συγγραφέων, αργός συλλογισμός εξακολουθεί να χρησιμοποιείται για εισιτήρια νέων, χωρίς μυστικά παραγωγής στον πειραματικό παράγοντα), 5 από τα 5 στοιχεία αξιολόγησης πέρασαν. Περιορισμοί: μικρό σύνολο εργασιών, μία κλάση υλικού, κυριαρχεί η λεπτή ρύθμιση της ποιότητας των δεδομένων. Αυτό δεν επικυρώνει τα στοιχεία ~9× ή DeepSWE των συγγραφέων εκτός αυτής της δέσμης.

Για να μετρήσετε τη δική σας έκδοση: παγώστε είκοσι ίχνη· βαθμολογήστε πρώτα το τρέχον μοντέλο· φιλοξενήστε το CLM-8B με τεκμηριωμένη ακρίβεια/ρυθμίσεις· επαναλάβετε την εκτέλεση με το ίδιο περιτύλιγμα· αναφέρετε την επιτυχία/n, τα p50/p95, τις παρεμβάσεις και εάν κάποιος αριθμός CLAIM αντιμετωπίστηκε ως γεγονός.

Τι μπορεί να πάει στραβά

• Λατρεία γραφήματος: Αποστολή σε διαφάνεια ~9× χωρίς τη δική σας σελίδα p95.
• Λάθος-γρήγορες ενέργειες: Άμεσα λάθη με αυτοπεποίθηση που υπερισχύουν των αργών διορθωτικών σε repos υψηλού στοιχήματος.
• Μετατόπιση καλωδίωσης: Αλλαγή προτροπών εργαλείων μεταξύ μοντέλων και ονομασία της ως νίκη μοντέλου.
• Στοίβα ενός ήρωα: Κατάργηση της στοχαστικής συλλογιστικής για νέα αρχιτεκτονικά έργα.
• Χειροκίνητη μεταφορά αδειών χρήσης: Αξιόπιστη η συνοπτική παρουσίαση κάλυψης αντί για τα πραγματικά αρχεία αδειών χρήσης με βάση το βάρος.
• Shadow CI: Τοποθέτηση ενός παράγοντα ταχείας άνοιξης με βίδες σε αγωγούς χωρίς όρια ρυθμού ή έλεγχο έγχυσης.

Πρακτικό πακέτο

Το CLM-8B αξίζει μια στοχευμένη αξιολόγηση ως υποψήφιος ελεγκτής του Συστήματος 1 για κωδικοποίηση πρακτόρων - ανοιχτά βάρη, ιστορία που διαμορφώνεται από αποφάσεις, ισχυρισμοί ταχύτητας που αναφέρονται από τον συγγραφέα. Δεν είναι δόγμα και δεν είναι αποδεδειγμένο 9× για το stack σας μέχρι να το πει η ζώνη σας. Κρατήστε το wrapper σταθερό, καταγράψτε τις ενέργειες ανά δευτερόλεπτο και τον ρυθμό λανθασμένης ταχύτητας, διατηρήστε μια πιο αργή καταπακτή διαφυγής και αφήστε το αυτοκόλλητο CLAIM σε κάθε διάγραμμα τύπου μέχρι να εμφανιστούν ανεξάρτητες εκτελέσεις (συμπεριλαμβανομένων των δικών σας).

Συχνές ερωτήσεις

Τι είναι το CLM-8B και γιατί οι κατασκευαστές πρακτόρων μιλούν γι' αυτό;

Το CLM-8B είναι το πρώτο δημόσιο σύνολο βαρών στη σειρά Contrastive Language Model - μια ανοιχτή έκδοση έρευνας που παρουσιάζεται ως ένας γρήγορος βρόχος αποφάσεων για τους πράκτορες, όχι απλώς ένας ακόμη εγκέφαλος συνομιλίας. Η ιστορία εκπαίδευσης συνδέει τις καταστάσεις με τις ενέργειες περισσότερο σαν ένα αντανακλαστικό του Συστήματος 1 παρά σαν ένα αργό δοκίμιο επόμενου διακριτικού. Με οκτώ δισεκατομμύρια παραμέτρους, είναι αρκετά μικρό για να φιλοξενηθεί από πολλά εργαστήρια και ανεξάρτητους κατασκευαστές, με άδειες χρήσης Apache 2.0 να πλαισιώνονται στην κάλυψη γύρω από την πτώση. Οι αριθμοί στις αναρτήσεις κυκλοφορίας είναι ισχυρισμοί που αναφέρθηκαν από τους συγγραφείς, όχι ανεξάρτητες επαναλήψεις εργαστηρίων.

Πώς ισχυρίζεται το CLM-8B ότι είναι έως και 9 φορές ταχύτερο από το Jev για τους πράκτορες;

Οι υποστηρικτές ισχυρίζονται έως και περίπου 9 φορές ταχύτερη συμπερασματική ανάλυση από τα μοντέλα κλάσης Jev, με χρόνο συνομιλίας περίπου 32 ms σε μια ρύθμιση τερματικού bench. Μετά από ελαφριά βελτιστοποίηση, αναφέρουν επίσης ισχυρά αποτελέσματα κωδικοποίησης agents - DeepSWE περίπου 81,6% και Terminal-Bench 2.1 περίπου 87,6% - και κάποια ποιότητα μηδενικής βολής συγκρίσιμη με το Jev με πολύ χαμηλότερη καθυστέρηση. Αντιμετωπίστε τα στοιχεία 9× και χιλιοστών του δευτερολέπτου ως ισχυρισμούς μέχρι να τα αναπαράγουν τρίτα μέρη σε κοινόχρηστο υλικό. Η σχετική ταχύτητα απαιτεί ακόμη να διευκρινιστούν οι ρυθμίσεις μεγέθους παρτίδας, ακρίβειας και αποκωδικοποίησης.

Πώς διαφέρει η εκπαίδευση στο Αντιπαραβολικό Γλωσσικό Μοντέλο από τα τυπικά LLM;

Τα περισσότερα LLM παραγωγής παράγουν ένα διακριτικό κάθε φορά, κάτι που λειτουργεί για πεζογραφία και μακροσκελή συλλογισμό, αλλά απαιτεί κάθε μικροαπόφαση που λαμβάνει ένας πράκτορας. Η εκπαίδευση στο Συγκριτικό Γλωσσικό Μοντέλο, όπως την περιγράφουν οι υποστηρικτές, ωθεί το δίκτυο να αντιστοιχίσει καταστάσεις σε προτιμώμενες κινήσεις - περισσότερο σαν επικεφαλής πολιτικής παρά σαν μυθιστοριογράφος. Αυτή η διαμόρφωση του Συστήματος 1 ευνοεί τους γρήγορους βρόχους από κατάσταση σε δράση αντί για την αέναη αφήγηση μεταξύ κλήσεων εργαλείων. Το CLM-8B μπορεί ακόμα να εκπέμπει κείμενο. Η ιστορία του στόχου και της αξιολόγησης κλίνουν προς τον πρακτορικό έλεγχο.

Ποιος κυκλοφόρησε το CLM-8B και είναι πραγματικά ανοιχτό;

Ο Jacky Kwok παρουσίασε την εργασία. Η Azalia Mirhoseini την ενίσχυσε. Η κάλυψη πλαισιώνει μια ομαδική προσπάθεια που συνδέεται με το Stanford και την NVIDIA με επώνυμους ερευνητές, δημόσια βάρη και ανοιχτό κώδικα. Η αδειοδότηση γύρω από την έκδοση πλαισιώνεται ως Apache 2.0, το οποίο έχει σημασία για την τελειοποίηση και την αποστολή - αλλά διαβάστε τα αρχεία αδειών χρήσης στο αποθετήριο προτού βασιστείτε σε συνοπτικές καλύψεις. Οι επώνυμες ανοιχτές εκδόσεις τείνουν να υποβάλλονται σε δοκιμές αντοχής σε ακραίες συνθήκες πιο γρήγορα από τα ανώνυμα dumps. Είναι ακόμα νωρίς για ευρεία αναπαραγωγή από τρίτους.

Γιατί οι βρόχοι από κατάσταση σε δράση έχουν τόσο μεγάλη σημασία για την κωδικοποίηση πρακτόρων;

Η κωδικοποίηση μέσω πρακτόρων είναι συχνά δυαδική: η δοκιμή είτε γίνεται πράσινη είτε όχι, επομένως οι καθαρές επιλογές δράσης υπερτερούν των όμορφων δοκιμίων αποτυχίας. Η καθυστέρηση συνδυάζεται σε δεκάδες βήματα εργαλείων - ο χρόνος ξυρίσματος ανά βήμα και οι λογαριασμοί ρολογιού τοίχου και cloud μετακινούνται και οι δύο. Μια ισχυριζόμενη επιτάχυνση τάξης μεγέθους έναντι ενός ομότιμου συστήματος κλάσης Jev, ακόμη και αν καταλήγει ως "μόνο" 4× στην άγρια ​​φύση, εξακολουθεί να αναδιατάσσει τον σχεδιασμό χωρητικότητας. Οι υβριδικές στοίβες - ένας γρήγορος ελεγκτής τύπου CLM συν ένας βαρύτερος συλλογιστής σε σκληρούς κλάδους - αποτελούν ένα ρεαλιστικό μακροπρόθεσμο σχήμα.

Πρέπει να εμπιστευτώ τις βαθμολογίες DeepSWE και Terminal-Bench για το CLM-8B;

Αυτές οι σουίτες τιμωρούν τους εύθραυστους παράγοντες, γι' αυτό και το ~81,6% του DeepSWE και το ~87,6% του Terminal-Bench 2.1 μετά από ελαφριά βελτιστοποίηση φαίνονται συναρπαστικά. Τα Agency Bench ανταμείβουν επίσης την κατασκευή ικριωμάτων: η ποιότητα της καλωδίωσης, οι λίστες επιτρεπόμενων εργαλείων και οι υποδείξεις ανάκτησης μπορούν να επηρεάσουν την επιτυχία κατά διψήφιο ποσοστό. Σκεφτείτε τι περιτύλιγμα υπήρχε γύρω από τα βάρη πριν αντιμετωπίσετε το διάγραμμα ως παγιωμένη επιστήμη. Τα author bench κάνουν μάρκετινγκ μέχρι κάποιος άλλος να τα αναπαράγει με τεκμηριωμένες συνταγές.

Τι πρέπει να γνωρίζω για το CLM-35B και την τελειοποίηση του μοντέλου 8B;

Μια μεγαλύτερη συνέχεια του CLM-35B αναφέρεται ως σχέδιο. Το αν θα διατηρήσει την ιστορία με την καθυστέρηση ή θα ανταλλάξει την ταχύτητα με βάθος είναι αβέβαιο. Η βελτιστοποίηση του CLM-8B με τους δικούς σας κανόνες lint, την ανάπτυξη CLI και τα ίχνη monorepo είναι η ρεαλιστική πορεία προς ισχυρούς αριθμούς - όχι μαγεία μηδενικών βολών την πρώτη μέρα. Οι ομάδες μπορεί να διατηρήσουν και τα δύο μεγέθη αν καταφέρουν: 8B για hot loops, 35B για αυστηρό σχεδιασμό. Τα ανοιχτά βάρη κάνουν επίσης ευκολότερη την κακή χρήση, επομένως τα προστατευτικά κιγκλιδώματα και τα όρια ρυθμού είναι προϊόν, όχι προαιρετικό cosplay.

Πώς πρέπει να διαβάζω τις συγκρίσεις με τον Jev χωρίς να με πιάνει το χιόνι;

Οι συγκρίσεις κλάσης Jev δίνουν "έως και 9 φορές ταχύτερη" μια άγκυρα ομότιμων, η οποία βοηθά στην προσέλκυση της προσπάθειας. Ο κίνδυνος είναι η κατάρρευση του μεγέθους της παρτίδας, της ακρίβειας, του μήκους περιβάλλοντος και της σειριοποίησης κλήσεων εργαλείου σε έναν πολλαπλασιαστή. Όταν το chatter αναφέρει ~32 απαντήσεις κλάσης ms, ρωτήστε αν αυτό σημαίνει πρώτο διακριτικό, JSON πλήρους δράσης ή ένα προσωρινά αποθηκευμένο πρόθεμα. Μετρήστε την επιτυχία της εργασίας, το δολάριο ανά λυμένο εισιτήριο και το ποσοστό ανθρώπινης παρέμβασης στη στοίβα σας. Οι αφηγήσεις ανταγωνισμού αναγκάζουν τα εργαστήρια να δημοσιεύουν αριθμούς. Οι KPI παραγωγής σας εξακολουθούν να αποφασίζουν.

Τι πρέπει να κάνουν οι κατασκευαστές πριν βάλουν το CLM-8B σε παράγοντες παραγωγής;

Δημιουργήστε ένα κομμάτι κρίσιμο για την καθυστέρηση - όπως τον μικρο-βρόχο τερματικού - και κάντε μια λεπτή ρύθμιση A/B με βάση την τρέχουσα κινητήρια δύναμη σας διατηρώντας σταθερή την καλωδίωση. Προσέξτε για λανθασμένες αλλά γρήγορες ενέργειες. Προσθέστε επαλήθευση, προτιμήστε αναστρέψιμα εργαλεία και προϋπολογίστε έναν πιο αργό συλλογισμό όταν η εμπιστοσύνη είναι χαμηλή. Παρακολουθήστε ενέργειες ανά δευτερόλεπτο ανά GPU, όχι μόνο διακριτικά ανά δευτερόλεπτο. Μην επικολλάτε μυστικά παραγωγής σε πειραματικούς πράκτορες και αφήστε ένα αυτοκόλλητο CLAIM σε κάθε διάγραμμα τύπου μέχρι να εμφανιστούν οι δικές σας εκτελέσεις.

Πώς μπορώ να δημιουργήσω μια αξιολόγηση μικρο-βρόχου εύλογης καθυστέρησης για αξιώσεις CLM-8B Just Dropp;

Παγώστε ένα μικρό σύνολο πραγματικών ιχνών αποτυχημένων δοκιμών, διατηρήστε το ίδιο σχήμα εργαλείου και λίστα επιτρεπόμενων σε όλα τα μοντέλα και καταγράψτε τα βήματα, το ρολόι τοίχου, την επιτυχία και τις ανθρώπινες παρεμβάσεις. Χρησιμοποιήστε το CLM-8B μόνο στο βήμα "επιλογή επόμενης αναστρέψιμης ενέργειας" εάν διατηρείτε μια συνειδητή καταπακτή διαφυγής για νέα εισιτήρια. Επισημάνετε τον συγγραφέα ~9×, το DeepSWE και τους αριθμούς χιλιοστών του δευτερολέπτου ως CLAIM μέχρι αυτή η καλωδίωση να δείξει μια νίκη στην επιτυχία και την καθυστέρηση μαζί. Αυτή η εστιασμένη αξιολόγηση είναι καλύτερη από την επανεγγραφή της παραγωγής σε μια τράπουλα διαφανειών.

Αναφορές

1. Αγκαλιάζοντας το Πρόσωπο — Μοντέλο Συγκριτικής Γλώσσας (CLM-v0.1-8B) — huggingface.co
2. GitHub — Συγκριτικό-LM / CLM — github.com
3. Πανεπιστήμιο Stanford — Azalia Mirhoseini — cs.stanford.edu
4. Τζάκι Κουόκ — jackyk02.github.io
5. X — Εισαγωγή στον Jacky Kwok — x.com
6. DeepSWE — deepswe.datacurve.ai
7. Τεχνητή Νοημοσύνη για Snorkel — Terminal-Bench 2.1 — snorkel.ai
8. Τζεβ — jevtypesafeai.com