Το AutoSynthData του ServiceNow μετατρέπει τις αποτυχίες των πρακτόρων σε χρυσάφι εκπαίδευσης

Σύντομη απάντηση: Το AutoSynthData της ServiceNow CoreAI μετατρέπει τις αποτυχίες των πρακτόρων και τις επιτυχίες των εκπαιδευτικών σε επικυρωμένες συνθετικές εργασίες SFT όταν οι επιχειρήσεις χρειάζονται επάρκεια περιβάλλοντος, όχι μόνο ευρείες βαθμολογίες αναφοράς. Εξαλείφει τα κενά σε κάρτες προδιαγραφών δυνατοτήτων, πολλαπλασιάζει την επαληθεύσιμη εργασία και στη συνέχεια ελέγχει την ποιότητα πριν από τη βελτιστοποίηση. Οι ανυψώσεις γυμναστικής EnterpriseOps, που αναφέρθηκαν από τους συγγραφείς, διατηρούνται εάν η δύναμη των εκπαιδευτικών, η ποιότητα του επαληθευτή και η πιστότητα του περιβάλλοντος ευθυγραμμίζονται.

Βασικά συμπεράσματα:

Κάρτες δυνατοτήτων: Αποστειρώστε τις βλάβες στις κάρτες, ώστε οι δημιουργοί να μην βλέπουν ποτέ τα αρχικά αναγνωριστικά.

Ελεγχσιμότητα επαληθευτή: Προτίμηση ελέγχων τελικής κατάστασης SQL που απορρίπτουν μεταλλαγμένα λανθασμένα αποτελέσματα.

Ζώνη δυσκολίας: Προπονεί μόνο εργασίες που ο στόχος σπάνια λύνει και ο δάσκαλος συνήθως τις λύνει.

Ανθρώπινη αξιολόγηση: Διατηρήστε την ανθρώπινη αξιολόγηση για πολιτικές υψηλού ρίσκου και μη αναστρέψιμες ενέργειες πριν από την επανεκπαίδευση.

Μετακίνηση συνόρου: Μετά το SFT, επαναξιολογήστε και μετατοπίστε τη φάση-στόχο προς τα υπόλοιπα κενά.

Οι πράκτορες τεχνητής νοημοσύνης σε επίπεδο επιχείρησης σπάνια αποτυγχάνουν επειδή δεν έχουν γενικές γνώσεις. Αποτυγχάνουν επειδή το περιβάλλον είναι συγκεκριμένο: πολιτικές αιτημάτων, ιδιορρυθμίες σχήματος, συμβάσεις εργαλείων, βάσεις δεδομένων με seed, άρθρα γνώσεων και διασυστημικές ροές εργασίας που δεν μοιάζουν με επιδείξεις σχολικών βιβλίων. Ένα μοντέλο που βαθμολογείται καλά σε ανοιχτά benchmarks μπορεί να σταματήσει όταν το επόμενο βήμα πρέπει να σέβεται ένα παράθυρο αλλαγής, μια σχέση CMDB ή έναν επαληθευτή που ελέγχει την τελική κατάσταση αντί για μια ομαλή συνομιλία.

Η ServiceNow CoreAI / ServiceNow-AI δημοσίευσε το AutoSynthData για να αντιμετωπίσει άμεσα αυτό το κενό. Ο συγγραφέας Esakkivel Esakkiraja περιγράφει μια διαδικασία που μετατρέπει τις αποτυχίες ενός παράγοντα-στόχου - μαζί με τις επιτυχίες ενός ισχυρότερου εκπαιδευτή - σε επικυρωμένες συνθετικές εκπαιδευτικές εργασίες προσαρμοσμένες σε εταιρικά περιβάλλοντα. Το θέμα δεν είναι η συλλογή περισσότερων αρχείων καταγραφής συνομιλιών. Είναι ο πολλαπλασιασμός της σκληρής, επαληθεύσιμης εργασίας που ασκεί την ίδια ικανότητα υπό νέες συνθήκες, έτσι ώστε η εποπτευόμενη βελτίωση να μπορεί να κλείσει κενά που αφορούν συγκεκριμένα το περιβάλλον.

Αυτό το άρθρο αναλύει την κεντρική ιδέα, την αφαίρεση των εργασιών, τον βρόχο δημιουργίας και ελέγχου ποιότητας, την κοινόχρηστη αρχιτεκτονική και τα αποτελέσματα που αναφέρθηκαν από τους συγγραφείς στο EnterpriseOps Gym σε υβριδικά και ITSM περιβάλλοντα. Παραμένει σε αυτό που περιγράφει η έρευνα: ένα κινούμενο πρόγραμμα σπουδών συνθετικών εργασιών, όχι έναν ισχυρισμό ότι οποιαδήποτε επιχείρηση λύνεται ξαφνικά.

Γιατί η περιβαλλοντική ικανότητα υπερτερεί των ευρέων δυνατοτήτων

Οι επιχειρήσεις χρειάζονται πράκτορες που λειτουργούν στο περιβάλλον τους - τα συστήματα, τους κανόνες και την κατάσταση των δεδομένων τους. Η ευρεία δυνατότητα δεν είναι το ίδιο πράγμα με την ικανότητα περιβάλλοντος. Ένας πράκτορας μπορεί να γνωρίζει πώς λειτουργεί συνήθως η διαχείριση υπηρεσιών IT και παρόλα αυτά να μην αντιλαμβάνεται την τοπική πολιτική που απαγορεύει ορισμένες μεταβάσεις ή το εργαλείο που ενημερώνει έναν σχετικό πίνακα μόνο αφού υπάρχει μια προαπαιτούμενη εγγραφή.

Οι μεμονωμένες αποτυχίες είναι πληροφοριακές αλλά ελάχιστες ως δεδομένα εκπαίδευσης. Μία σπασμένη τροχιά δείχνει μια αδυναμία. Δεν παρέχει τις δεκάδες κοντινές καταστάσεις που θα δίδασκαν το μοντέλο να ανακάμπτει υπό μεταβολές. Οι ομάδες χρειάζονται πολλές νέες εργασίες που ασκούν την ίδια δυνατότητα διαφορετικά, παραμένουν ολοκληρωμένες εντός του περιβάλλοντος, φαίνονται ρεαλιστικές όπως ζητά ο χρήστης και παραμένουν επαληθεύσιμες έναντι ελέγχων αποτελεσμάτων.

Αυτή είναι η πίεση σχεδιασμού πίσω από το AutoSynthData. Οι αποτυχίες γίνονται σήματα για κάρτες ικανοτήτων. Οι κάρτες γίνονται γεννήτριες νέων εργασιών. Ένας ισχυρότερος δάσκαλος επιδεικνύει επιτυχημένες τροχιές. Τα φίλτρα και οι επαληθευτές αποφασίζουν τι εισέρχεται στο εποπτευόμενο σύνολο βελτιστοποίησης. Μετά την εκπαίδευση, η αξιολόγηση μετατοπίζει το όριο προς τα εναπομείναντα κενά. Ο βρόχος είναι διαμορφωμένος με βάση το πρόγραμμα σπουδών και όχι μεμονωμένη απόρριψη δεδομένων.

Η διαμόρφωση πλαισίου έχει σημασία για τους επαγγελματίες. Εάν αποθηκεύετε μόνο αποτυχημένες προτροπές, διατρέχετε τον κίνδυνο υπερπροσαρμογής σε αυτές ακριβώς τις οντότητες και φράσεις. Εάν δημιουργείτε μόνο μη περιορισμένες συνθετικές ερωτήσεις, διατρέχετε τον κίνδυνο εργασιών που είναι αδύνατες, μη ρεαλιστικές ή μη επαληθεύσιμες. Το AutoSynthData βρίσκεται ανάμεσα σε αυτά τα άκρα: εξυγιάνετε ό,τι απέτυχε σε μια προδιαγραφή δυνατοτήτων και, στη συνέχεια, αναγεννήστε εργασίες που διατηρούν τον σκληρό πυρήνα, αλλάζοντας παράλληλα τη μορφή της επιφάνειας και τις ελεγχόμενες διαστάσεις.

Το πρακτικό σχήμα της εργασίας: σύστημα, προτροπή, επαληθευτής

Μια λειτουργική αφαίρεση για την πρακτορική εργασία είναι: task ισούται με προδιαγραφή συστήματος, προτροπή χρήστη και επαληθευτή. Κάθε κομμάτι φέρει περιορισμούς που διατηρούν τα συνθετικά δεδομένα βασισμένα και αξιόπιστα.

Οι προδιαγραφές του συστήματος καλύπτουν περιορισμούς, πολιτικές και αρχική κατάσταση - για παράδειγμα, seeds βάσης δεδομένων και άρθρα γνώσης. Πρέπει να παραμένει συμβατό με τα διαθέσιμα εργαλεία και την κατάσταση. Οι αυθαίρετοι περιορισμοί δυσκολίας που αγνοούν τις συμβάσεις εργαλείων ή τον ρεαλισμό των seeds τείνουν να δημιουργούν εύθραυστες εργασίες που διδάσκουν λάθος μάθημα.

Η ποιότητα της προτροπής του χρήστη έχει τρία πρίσματα. Η εφικτότητα ρωτά αν υπάρχει μια έγκυρη τροχιά. Ο ρεαλισμός ρωτά αν ένας χρήστης θα το ζητούσε εύλογα. Η δυσκολία ρωτά αν η εργασία εκθέτει μια τρέχουσα αδυναμία του πράκτορα και όχι κάτι που ο στόχος ήδη λύνει αξιόπιστα. Μια προτροπή που είναι ασήμαντη για τον στόχο σπαταλά τον προϋπολογισμό εκπαίδευσης. Μια προτροπή που είναι αδύνατη σπαταλά την εμπιστοσύνη στην αξιολόγηση.

Η ποιότητα του επαληθευτή εξαρτάται από τη συνέπεια, την ορθότητα και την πληρότητα. Οι πολύ χαλαρές και αδύναμες τροχιές περνούν. Οι πολύ περιοριστικές σε μία μόνο τροχιά και οι έγκυρες εναλλακτικές λύσεις αποτυγχάνουν. Οι εταιρικές ρυθμίσεις συχνά προτιμούν τους ελέγχους αποτελεσμάτων που βασίζονται σε SQL ή σε καταστάσεις, επειδή βαθμολογούν τον κόσμο μετά τις ενέργειες του πράκτορα και όχι την ακριβή διαδρομή συμβολαίων που ακολούθησε ο πράκτορας.

Το AutoSynthData βασίζεται σε αυτήν την τριάδα, έτσι ώστε η παραγόμενη εργασία να παραμένει γειωμένη. Οι γεννήτριες δεν εφευρίσκουν ελεύθερα κινούμενα κουίζ. Παράγουν εργασίες που μπορούν να εκτελεστούν στον προσαρμογέα περιβάλλοντος και να κριθούν από επαληθευτές που ενδιαφέρονται για τις απαιτούμενες ιδιότητες τελικής κατάστασης.

Από την αξιολόγηση διαγνωστικών σε κάρτες προδιαγραφών δυνατοτήτων

Η διαδικασία ξεκινά με τη διαγνωστική αξιολόγηση του παράγοντα-στόχου και έναν ισχυρότερο εκπαιδευτικό μέσα στο περιβάλλον. Οι παράλληλες δοκιμές αποκαλύπτουν πού αποτυγχάνει ο στόχος και πού επιτυγχάνει ο εκπαιδευτικός. Αυτές οι περιπτώσεις αντίθεσης αποτελούν την πρώτη ύλη για τον σχεδιασμό του προγράμματος σπουδών.

Στη συνέχεια, έρχεται η απόσταξη σε εξυγιανμένες κάρτες προδιαγραφών δυνατοτήτων. Μια κάρτα καταγράφει την υπό δοκιμή δυνατότητα, τα σχετικά εργαλεία ή το σχήμα της ροής εργασίας, πού αποτυγχάνει ο στόχος και πού επιτυγχάνει ο εκπαιδευτικός, τις απαιτούμενες ιδιότητες τελικής κατάστασης και τις διαστάσεις που μπορούν να ποικίλλουν όταν εφευρίσκονται νέες εργασίες. Είναι κρίσιμο να σημειωθεί ότι η γεννήτρια δεν λαμβάνει αρχικές προτροπές, οντότητες, τροχιές ή λεπτομέρειες επαληθευτή - μόνο τις κάρτες.

Αυτή η απολύμανση είναι μια σκόπιμη κίνηση κατά της υπερπροσαρμογής. Εάν η γεννήτρια έβλεπε τους ακριβείς αριθμούς αποτυχημένων εισιτηρίων, τα αναγνωριστικά άρθρων γνώσης ή τα ίχνη των εκπαιδευτικών, θα έμπαινε στον πειρασμό να παραφράσει το ίδιο επεισόδιο. Οι κάρτες επιβάλλουν αφαίρεση: διδάσκουν την ικανότητα υπό ελεγχόμενη παραλλαγή, όχι την απομνημονευμένη περίπτωση.

Αφού δημιουργηθούν οι κάρτες, το σύστημα δημιουργεί νέες εργασίες από αυτές. Στη συνέχεια, ο εκπαιδευτικός επιδεικνύει επιτυχημένες τροχιές για εποπτευόμενη βελτίωση. Αυτές οι επιδείξεις δεν αποτελούν συμβουλές ελεύθερης μορφής. Είναι επιτυχίες που βασίζονται στο περιβάλλον και περνούν το ίδιο είδος επαλήθευσης για το οποίο ενδιαφέρεται το πρόγραμμα σπουδών.

Δύο φάσεις δομής κλίμακας. Η φάση-στόχος εστιάζει σε βασικά ελεγμένα δείγματα γύρω από κενά - τις εργασίες με το υψηλότερο σήμα κοντά στο σημείο όπου σπάει ο ασθενής παράγοντας. Η φάση πολλαπλασιασμού δημιουργεί νέες παραλλαγές αποδεκτών στόχων. Τα πολλαπλασιασμένα δείγματα δεν μπορούν να προκαλέσουν περαιτέρω γύρους πολλαπλασιασμού, γεγονός που περιορίζει την απόκλιση. Αυτός ο κανόνας είναι μικρός αλλά σημαντικός: η απεριόριστη αναδρομική παραλλαγή μπορεί να αποκλίνει από την ικανότητα που ονόμασε η κάρτα.

Κοινόχρηστος ελεγκτής, προσαρμογέας περιβάλλοντος και το μεταβαλλόμενο σύνορο

Από άποψη αρχιτεκτονικής, το AutoSynthData χρησιμοποιεί έναν κοινόχρηστο ελεγκτή συν έναν προσαρμογέα περιβάλλοντος. Ο ελεγκτής ενορχηστρώνει τη διάγνωση, την κωδικοποίηση, τη δημιουργία, τις επιδείξεις εκπαιδευτικών, τις πύλες ποιότητας και την ομαδική αξιολόγηση. Ο προσαρμογέας συνδέει αυτά τα βήματα με ένα συγκεκριμένο περιβάλλον δοκιμών για επιχειρήσεις - εργαλεία, κατάσταση, πολιτικές και επαληθευτές - έτσι ώστε ο ίδιος βρόχος ελέγχου να μπορεί να στοχεύει σε διαφορετικούς τομείς χωρίς να ξαναγράφει τη λογική του προγράμματος σπουδών από την αρχή.

Μετά την εποπτευόμενη βελτίωση, η διαδικασία επαναξιολογείται. Το πρόγραμμα σπουδών κινείται προς τα εναπομείναντα κενά: ένα κινούμενο όριο και όχι ένα στατικό σύνολο δεδομένων. Τα πειράματα που περιγράφονται στην εργασία επικεντρώνονται στην εποπτευόμενη βελτίωση. Ο ίδιος βρόχος θα μπορούσε να υποστηρίξει την ενισχυτική μάθηση αργότερα. Αυτή η κατεύθυνση σημειώνεται ως προγραμματισμένη και όχι ως ολοκληρωμένη.

Για τις εταιρικές ομάδες, το μάθημα αρχιτεκτονικής είναι αρθρωτό. Οι ελεγκτές δεν πρέπει να δημιουργούν hardcode σε ένα μόνο σχήμα εισιτηρίου. Οι προσαρμογείς θα πρέπει να εκθέτουν επαρκή πιστότητα κατάστασης και εργαλείων, ώστε οι επαληθευτές να μπορούν να έχουν νόημα. Το πρόγραμμα σπουδών θα πρέπει να αντιμετωπίζει τα αποτελέσματα της αξιολόγησης ως την επόμενη είσοδο, όχι ως έναν εφάπαξ πίνακα αποτελεσμάτων.

Το EnterpriseOps Gym είναι το περιβάλλον όπου παρουσιάστηκε αυτή η προσέγγιση. Πρόκειται για ένα μεγάλης κλίμακας enterprise agent bench με περίπου 1.150 εργασίες επιμελημένες από ειδικούς σε 8 τομείς, περίπου 512 εργαλεία, περίπου 164 πίνακες βάσεων δεδομένων, εκτέλεση σε κοντέινερ, επαλήθευση αποτελεσμάτων βάσει SQL, λειτουργίες που διέπονται από πολιτικές, υβριδικά σενάρια μεταξύ τομέων, δοκιμές αδυναμίας και άρνησης και τροχιές με μακροχρόνιο χρονικό ορίζοντα. Το AutoSynthData δεν παρουσιάζεται ως επινόηση αυτού του γυμναστηρίου. Το γυμναστήριο είναι η πλατφόρμα δοκιμών αντοχής για τον βρόχο σύνθεσης.

QC σε επίπεδο δείγματος που διατηρεί τις συνθετικές εργασίες αξιόπιστες

Η δημιουργία χωρίς πύλες είναι ο τρόπος με τον οποίο τα δεδομένα συνθετικών πρακτόρων παρουσιάζουν σφάλματα. Το AutoSynthData περιγράφει τον ποιοτικό έλεγχο σε επίπεδο δείγματος με διάφορους συμπληρωματικούς ελέγχους.

Ένα φίλτρο δυσκολίας λύτη κατευθύνει το σύνολο προς εργασίες που είναι δύσκολες για τον στόχο και επιλύσιμες για τον εκπαιδευτικό. Η περιγραφόμενη διαμόρφωση ευνοεί εργασίες που ο στόχος λύνει σε το πολύ μία από τις τρεις δοκιμές, ενώ ο εκπαιδευτικός επιτυγχάνει σε τουλάχιστον δύο από τις τρεις. Αυτή η ζώνη είναι όπου οι επιβλεπόμενες επιδείξεις μπορούν να διδάξουν κάτι που το αδύναμο μοντέλο δεν κατέχει ήδη.

Η θετική επαλήθευση απαιτεί μια τροχιά αναφοράς να περάσει από τον επαληθευτή. Η αρνητική επαλήθευση απαιτεί την αποτυχία των μεταλλαγμένων λανθασμένων αποτελεσμάτων. Μαζί, δοκιμάζουν την πίεση τόσο στην πλευρά αποδοχής όσο και στην πλευρά απόρριψης του ελεγκτή. Εάν ελέγχονται μόνο θετικά, ένας επιτρεπτικός επαληθευτής μπορεί να δεχτεί σκουπίδια. Εάν ελέγχονται μόνο αρνητικά, ένας υπερβολικά αυστηρός επαληθευτής μπορεί να απορρίψει έγκυρη εργασία.

Ένας βρόχος κριτικής και επιδιόρθωσης, με όριο επανάληψης, επιχειρεί να διορθώσει εργασίες που αποτυγχάνουν στις πύλες αντί να απορρίψει αμέσως κάθε σχεδόν ατύχημα. Τα όρια επανάληψης έχουν σημασία: η ατελείωτη επιδιόρθωση μπορεί να εφεύρει ολοένα και πιο τεχνητούς περιορισμούς απλώς και μόνο για να περάσει μια λίστα ελέγχου.

Η μετα-ανασκόπηση σε επίπεδο παρτίδας εξετάζει στη συνέχεια ολόκληρο το σύνολο για κάλυψη, ποικιλομορφία, πλεονασμό και αποτυχημένους στόχους. Οι πύλες δειγματοληψίας διατηρούν τα μεμονωμένα στοιχεία αξιόπιστα. Η ανασκόπηση παρτίδας εμποδίζει το πρόγραμμα σπουδών να ομαδοποιείται σε μία στενή λειτουργία αποτυχίας ή να κλωνοποιεί σχεδόν διπλότυπα.

Αυτοί οι έλεγχοι εξηγούν γιατί η διαδικασία παραγωγής μπορεί να αφιερώσει ώρες παράγοντας χιλιάδες δείγματα χωρίς να αντιμετωπίζει τον όγκο ως υποκατάστατο της προσαρμογής. Η ταχύτητα διαφέρει ανάλογα με τον τομέα και το μέγεθος του εκπαιδευτικού, αλλά η ιστορία του ποιοτικού ελέγχου είναι συνεπής: ζώνη δυσκολίας, θετική και αρνητική επαλήθευση, επιδιόρθωση με όρια και στη συνέχεια μετα-αναθεώρηση.

Ακατέργαστες αποτυχίες έναντι καρτών έναντι επικυρωμένων συνόλων SFT

Βοηθάει να συγκρίνετε σε τι χρησιμεύει κάθε τεχνούργημα. Τα ακατέργαστα αρχεία καταγραφής σφαλμάτων είναι διαγνωστικά. Οι κάρτες ικανοτήτων είναι δημιουργικά συμβόλαια. Τα επικυρωμένα, εποπτευόμενα σύνολα βελτιστοποίησης είναι αυτά στα οποία εκπαιδεύεστε στην πράξη.

Σε στιγμιότυπα Hybrid και ITSM στο EnterpriseOps Gym, οι αναφερόμενες από τους συγγραφείς εκτελέσεις χρησιμοποίησαν το Gemma-4-26B-A4B-it ως στόχο. Το Hybrid συνδύασε αυτόν τον στόχο με το Qwen3.8-27B ως δάσκαλο και παρήγαγε περίπου 2.000 υβριδικά δείγματα σε περίπου 18 ώρες, με το καλύτερο σημείο ελέγχου στην εποχή 5. Ο μέσος όρος Pass@1 αυξήθηκε κατά 7,2 ποσοστιαίες μονάδες - περίπου 35% σε σχέση - με την επιτυχία του επαληθευτή να κινείται από 63,01% σε 68,55%, κλείνοντας περίπου το 59% του χάσματος Pass@1 με το μοντέλο αναφοράς.

Το ITSM συνδύασε τον ίδιο στόχο με το DeepSeek-V4.1-Flash ως teacher και παρήγαγε περίπου 1.994 δείγματα σε περίπου 66 ώρες, περισσότερο χρόνο εν μέρει λόγω ενός μεγαλύτερου teacher και επειδή ορισμένες βελτιστοποιήσεις του pipeline δεν είχαν ακόμη εφαρμοστεί. Ο μέσος όρος Pass@1 αυξήθηκε από 18,77% σε 27,18%.

Διαβάστε αυτούς τους αριθμούς ως αποτελέσματα έρευνας εταιρείας σε αυτό το γυμναστήριο για τους τομείς που δοκιμάστηκαν - όχι ως ανεξάρτητη αναπαραγωγή τρίτου μέρους και όχι ως καθολική εγγύηση για επιχειρήσεις. Τα κέρδη είναι ζωντανά όπου η δύναμη των εκπαιδευτικών, η ποιότητα των επαληθευτών και η πιστότητα του περιβάλλοντος ευθυγραμμίζονται.

Τι πρέπει να αντιγράψουν οι επαγγελματίες από τον κύκλο

Ακόμα κι αν η στοίβα σας δεν είναι ο ερευνητικός αγωγός του ServiceNow, το μοτίβο μεταφέρεται. Ξεκινήστε με την αξιολόγηση σε ζεύγη ενός στόχου που μοιάζει με παραγωγή και ενός ισχυρότερου δασκάλου σε ένα πιστό sandbox. Μετατρέψτε τις αποτυχίες αντίθεσης σε κάρτες δυνατοτήτων που αφαιρούν αναγνωριστικά και τροχιές. Δημιουργήστε εργασίες που ποικίλλουν τις επιτρεπόμενες διαστάσεις διατηρώντας παράλληλα τις απαιτούμενες ιδιότητες τελικής κατάστασης. Ζητήστε από τον δάσκαλο να επιδείξει επιτυχίες. Πύλες με ζώνες δυσκολίας, θετική και αρνητική επαλήθευση, περιορισμένη επιδιόρθωση και αναθεώρηση ποικιλομορφίας παρτίδας. Βελτιστοποιήστε, επαναξιολογήστε και μετατοπίστε το όριο.

Δώστε ιδιαίτερη προσοχή στον σχεδιασμό του επαληθευτή. Οι έλεγχοι αποτελεσμάτων SQL τύπου γυμναστηρίου του EnterpriseOps και οι λειτουργίες που διέπονται από πολιτικές καταδεικνύουν γιατί οι ρουμπρίκες συνομιλίας από μόνες τους είναι αδύναμες για εργασία με βάση την κατάσταση. Εάν ο επαληθευτής σας δεν μπορεί να διακρίνει τα μεταλλαγμένα λανθασμένα αποτελέσματα από τα σωστά τελικά, η συνθετική κλίμακα θα ενισχύσει τον θόρυβο.

Επίσης, σεβαστείτε το πνεύμα του κανόνα πολλαπλασιασμού: οι παραλλαγές των αποδεκτών στόχων δεν θα πρέπει να εισάγουν ασταμάτητα περισσότερες παραλλαγές χωρίς να επιστρέφουν σε ελεγμένους πυρήνες. Η μετατόπιση είναι αθόρυβη. Ένα πρόγραμμα σπουδών που επινοεί αργά πιο εξωτικούς περιορισμούς μπορεί να περάσει επιφανειακά φίλτρα, αφήνοντας την αρχική δυνατότητα υποεκπαιδευμένη.

Τέλος, αντιμετωπίστε την υβριδική εργασία σε διατομεακούς τομείς ως περίπτωση πρώτης κατηγορίας στρες. Οι καθημερινοί χρήστες δεν μένουν σε ένα σιλό εργαλείων. Οι υβριδικές εργασίες, οι τροχιές μακροπρόθεσμου ορίζοντα και οι δοκιμές άρνησης ή αδυναμίας είναι τα σημεία όπου η περιβαλλοντική επάρκεια εμφανίζεται - ή αποτυγχάνει έντονα.

Προειδοποιήσεις, όρια και προσεκτική ανάγνωση των κερδών

Τα αποτελέσματα που αναφέρθηκαν από τους συγγραφείς στο EnterpriseOps Gym είναι πληροφοριακά σήματα, όχι μια γενική εγγύηση. Τα δημοσιευμένα κέρδη Hybrid και ITSM ισχύουν για αυτούς τους τομείς και τους συνδυασμούς μοντέλων στην περιγραφόμενη ρύθμιση. Άλλοι τομείς, ασθενέστεροι καθηγητές, πιο θορυβώδεις επαληθευτές ή πιο ρηχή πιστότητα περιβάλλοντος μπορούν να συρρικνώσουν ή να διαγράψουν το όφελος.

Η ποιότητα εξαρτάται από τρεις πυλώνες που καμία σχολή μάρκετινγκ δεν μπορεί να παραβλέψει. Η δύναμη του εκπαιδευτικού θέτει το ανώτατο όριο για τις επιδείξεις. Η ποιότητα του επαληθευτή θέτει την αξιοπιστία των ετικετών και των φίλτρων. Η πιστότητα του περιβάλλοντος καθορίζει εάν οι μαθησιακές συμπεριφορές επιβιώνουν από την επαφή με τα συστήματα παραγωγής, τους κανόνες και την κατάσταση των δεδομένων.

Τα πειράματα του AutoSynthData δίνουν έμφαση στην εποπτευόμενη βελτιστοποίηση. Η ενισχυτική μάθηση αναφέρεται ως πιθανή μεταγενέστερη χρήση του ίδιου βρόχου, σχεδιασμένη αντί να παρέχεται στην αναφερόμενη εργασία. Οι αναγνώστες δεν πρέπει να συγχέουν μια μηχανή δεδομένων έτοιμη για το πρόγραμμα σπουδών με έναν ολοκληρωμένο ισχυρισμό εκπαίδευσης RL.

Ούτε οι αναγνώστες θα πρέπει να συγχέουν τη διαδικασία σύνθεσης με τον ίδιο τον πάγκο. Το EnterpriseOps Gym παρέχει τις επιμελημένες εργασίες, τα εργαλεία, τους πίνακες, την ενσωμάτωση σε κοντέινερ και το fabric επαλήθευσης. Το AutoSynthData χρησιμοποιεί αυτό το είδος περιβάλλοντος για να μετατρέψει τις αποτυχίες σε χρυσάφι εκπαίδευσης. Αναφέρετε με ακρίβεια και τα δύο κομμάτια: το γυμναστήριο στρεσάρει τους πράκτορες· η διαδικασία πολλαπλασιάζει τις διδακτικές εργασίες από τα διαγνωσμένα κενά.

Δεν υπάρχει επίσης δωρεάν γεύμα για τον υπολογιστικό και ημερολογιακό χρόνο μέσα στο sandbox. Η υβριδική σύνθεση ολοκληρώθηκε σε περίπου δύο χιλιάδες δείγματα. Το ITSM χρειάστηκε περισσότερο χρόνο με έναν πιο βαρύ καθηγητή και ένα προηγούμενο σχήμα αγωγού. Οι ομάδες θα πρέπει να προβλέψουν τον προϋπολογισμό για την εξαγωγή συμπερασμάτων από τον καθηγητή, τις επαναλήψεις κριτικής ή επιδιόρθωσης και την επαναξιολόγηση μετά από κάθε βήμα του προγράμματος σπουδών.

Σκέψη προγράμματος σπουδών για ομάδες πρακτόρων επιχειρήσεων

Η βαθύτερη ιδέα στο AutoSynthData είναι περισσότερο διδακτικού χαρακτήρα παρά καθαρά γενετικής φύσεως. Οι αποτυχίες διαγιγνώσκονται. Περίληψη καρτών. Η δημιουργία πολλαπλασιάζεται. Ο έλεγχος ποιότητας (QC) επικυρώνει. Το SFT ενημερώνει τον στόχο. Η επανεκτίμηση μετακινεί τα όρια. Αυτή η ακολουθία αντιμετωπίζει τη βελτίωση του πράκτορα ως μια σειρά μαθημάτων που βασίζονται στο περιβάλλον αντί για μια ενιαία εκτός σύνδεσης απόρριψη ιχνών.

Η σκέψη του προγράμματος σπουδών αλλάζει τον τρόπο με τον οποίο οι ηγέτες κατανέμουν την προσπάθεια. Αντί να ζητάτε μόνο περισσότερα εισιτήρια ή περισσότερες ανθρώπινες σχολιασμοί, ρωτήστε ποιες δυνατότητες εξακολουθούν να αποτυγχάνουν υπό μεταβολή, αν αυτές οι δυνατότητες έχουν καθαρές ιδιότητες τελικής κατάστασης και αν ένας ισχυρότερος δάσκαλος μπορεί να τις επιδείξει αξιόπιστα. Εάν ο δάσκαλος δεν μπορεί να πετύχει αρκετά συχνά, η συνθετική SFT θα διδάξει αναξιόπιστη συμπεριφορά. Εάν οι ιδιότητες τελικής κατάστασης είναι ασαφείς, οι επαληθευτές θα αμφισβητήσουν τις έγκυρες στρατηγικές.

Αλλάζει επίσης τον τρόπο που μιλάτε για την επιτυχία. Η κάλυψη ενός μέρους του κενού Pass@1 σε ένα μοντέλο αναφοράς στο Hybrid ή η ανύψωση του ITSM Pass@1 από τα υψηλά teenagers στα υψηλά teenagers σε δοκιμές που αναφέρουν οι συγγραφείς, αποτελεί πρόοδο στην μετρούμενη περιβαλλοντική επάρκεια. Δεν αποτελεί απόδειξη ότι κάθε ροή εργασίας, κάθε πολιτική ή κάθε περίπτωση άρνησης λύνεται. Διατηρήστε την κινούμενη γλώσσα αιχμής: τα εναπομείναντα κενά γίνονται η επόμενη φάση Target, όχι μια διαφάνεια δεύτερης σκέψης.

Για τον σχεδιασμό του προγράμματος, συνδυάστε αυτόν τον βρόχο με ανθρώπινη αναθεώρηση όπου τα διακυβεύματα είναι υψηλά - πολιτικές ασφαλείας, μη αναστρέψιμες ενέργειες, ρυθμιζόμενα δεδομένα - ενώ παράλληλα επιτρέπετε στις αυτοματοποιημένες πύλες να μεταφέρουν όγκο σε σαφώς καθορισμένους ελέγχους κατάστασης. Τα συνθετικά δεδομένα λειτουργούν καλύτερα όταν το περιβάλλον μπορεί να πει ναι ή όχι με σαφήνεια τύπου SQL. Δυσκολεύονται όταν η επιτυχία είναι υποκειμενική.

Σημειώσεις σχεδιασμού σχετικά με τη δυσκολία, τον ρεαλισμό και την άρνηση

Η στόχευση δυσκολίας αξίζει μια δεύτερη ματιά. Η προτίμηση των εργασιών που ο στόχος λύνει το πολύ το ένα τρίτο του χρόνου κρατά την εκπαίδευση μακριά από τις ασήμαντες ερωτήσεις. Η απαίτηση από τον εκπαιδευτικό να επιτύχει τουλάχιστον τα δύο τρίτα του χρόνου κρατά τις επιδείξεις μακριά από το ρίξιμο νομισμάτων. Αυτή η ζώνη είναι ένας πρακτικός συμβιβασμός μεταξύ πρόκλησης και μαθησιακής ικανότητας.

Ο ρεαλισμός παραμένει ένα πιο ήπιο κριτήριο, αλλά εξακολουθεί να είναι απαραίτητος. Οι εταιρικοί χρήστες ζητούν πράγματα που ταιριάζουν στους ρόλους και τα συστήματά τους. Οι γεννήτριες που καθοδηγούνται μόνο από τη σκληρότητα μπορούν να εφεύρουν περίτεχνα παζλ πολλαπλών περιορισμών που κανένας χειριστής δεν θα ζητούσε. Οι κάρτες δυνατοτήτων που απαριθμούν μεταβλητές διαστάσεις βοηθούν, ωστόσο οι άνθρωποι ή η μετα-ανασκόπηση πρέπει ακόμα να εντοπίσουν σουρεαλιστικές προτροπές.

Οι δοκιμές άρνησης και αδυναμίας, που υπάρχουν στον ευρύτερο σχεδιασμό του EnterpriseOps Gym, υπενθυμίζουν στις ομάδες ότι η ικανότητα περιλαμβάνει το να λένε όχι. Ένας αγωγός βελτιστοποιημένος μόνο για ολοκληρωμένες εργασίες μπορεί να υποεκπαιδεύσει την άρνηση. Κατά την επέκταση βρόχων τύπου AutoSynthData, συμπεριλάβετε κάρτες όπου η σωστή τελική ιδιότητα είναι μια ασφαλής απόρριψη βάσει πολιτικής, όχι μόνο μια επιτυχημένη μετάλλαξη της κατάστασης της βάσης δεδομένων.

Οι τροχιές με μακροχρόνιο ορίζοντα εγείρουν μια ακόμη νότα σχεδιασμού. Τα demos των εκπαιδευτικών πρέπει να παραμένουν συνεκτικά σε πολλές κλήσεις εργαλείων. Οι επαληθευτές που ελέγχουν μόνο την τελευταία γραμμή του πίνακα ενδέχεται να χάσουν ενδιάμεσα διαλείμματα πολιτικής. Η πληρότητα στο σχεδιασμό των επαληθευτών σημαίνει κάλυψη των ιδιοτήτων που πραγματικά καθορίζουν την επιτυχία για αυτήν τη δυνατότητα - συμπεριλαμβανομένων των περιορισμών που πρέπει να παραμένουν αληθείς σε όλη τη διάρκεια, όχι μόνο στο τέλος.

Τελική σύνοψη

Το AutoSynthData, από την ServiceNow CoreAI / ServiceNow-AI και συντάκτης του δημόσιου άρθρου του Esakkivel Esakkiraja, είναι μια διαδικασία που μετατρέπει τις αποτυχίες του παράγοντα-στόχου καθώς και τις επιτυχίες των εκπαιδευτικών σε επικυρωμένες συνθετικές εργασίες εκπαίδευσης για εταιρικά περιβάλλοντα. Συγκεντρώνει τις αποτυχίες σε εξυγιανμένες κάρτες προδιαγραφών δυνατοτήτων, δημιουργεί νέες εργασίες χωρίς να διαρρέει αρχικές προτροπές ή τροχιές, συλλέγει επιδείξεις εκπαιδευτικών και επιβάλλει ποιοτικό έλεγχο σε επίπεδο δείγματος και σε επίπεδο παρτίδας πριν από την εποπτευόμενη βελτιστοποίηση.

Το πρακτικό νοητικό μοντέλο είναι η εργασία ως προδιαγραφή συστήματος, προτροπή χρήστη και επαληθευτής - με τη σκοπιμότητα, τον ρεαλισμό και τη δυσκολία να διατηρούνται σε ένταση, και με επαληθευτές που δεν είναι ούτε πολύ χαλαροί ούτε κλειδωμένοι σε μία διαδρομή. Οι φάσεις "Στόχευση και Πολλαπλασιασμός", ένας κανόνας χωρίς περαιτέρω σπορά για πολλαπλασιασμένα δείγματα, ο κοινόχρηστος ελεγκτής συν τον προσαρμογέα περιβάλλοντος και η επαναξιολόγηση μετά το SFT δημιουργούν ένα κινούμενο όριο πάνω στα εναπομείναντα κενά.

Στο EnterpriseOps Gym, τα αποτελέσματα Hybrid που αναφέρθηκαν από τους συγγραφείς με Gemma-4-26B-A4B-it και Qwen3.8-27B δείχνουν περίπου δύο χιλιάδες δείγματα σε περίπου δεκαοκτώ ώρες και σημαντική αύξηση της επιτυχίας του Pass@1 και του verifier, γεφυρώνοντας ένα μεγάλο μερίδιο του χάσματος σε ένα μοντέλο αναφοράς. Το ITSM με το DeepSeek-V4.1-Flash ως δάσκαλο δείχνει αύξηση του Pass@1 από 18,77% σε 27,18% σε περίπου 1.994 δείγματα σε μακροπρόθεσμη βάση. Αντιμετωπίστε αυτά τα στοιχεία ως ερευνημένα σήματα σε συγκεκριμένους τομείς, ανάλογα με την πιστότητα του δασκάλου, του verifier και του περιβάλλοντος - και διατηρήστε την ενισχυτική μάθηση ως μια προγραμματισμένη επέκταση του βρόχου, όχι ως έναν ολοκληρωμένο ισχυρισμό.

Αν θυμάστε μια φράση: οι πράκτορες επιχειρήσεων βελτιώνονται όταν οι αποτυχίες γίνονται αφηρημένα, πολλαπλασιασμένα, επαληθευμένα μαθήματα μέσα στα συστήματα που πρέπει να λειτουργούν καθημερινά - όχι όταν οι ομάδες απλώς επαναλαμβάνουν το ίδιο προβληματικό εισιτήριο.

Πρακτικό παράδειγμα: Επέκταση σκληρών περιπτώσεων ITSM από ένα παγωμένο σύνολο σφαλμάτων τύπου γυμναστηρίου

Σενάριο

Μια ομάδα επιχειρηματικής πλατφόρμας στο Ηνωμένο Βασίλειο - σκεφτείτε μια μεσαίου μεγέθους ομάδα λειτουργιών χρηματοοικονομικών υπηρεσιών που εκτελεί ITSM τύπου ServiceNow με παράθυρα αλλαγών, σχέσεις CMDB και μεταβάσεις που ελέγχονται από πολιτικές - διαθέτει έναν παράγοντα που μοιάζει με παραγωγή και σκοντάφτει συνεχώς στην ίδια κατηγορία εργασίας: ενημερώσεις μεταξύ πινάκων που πρέπει να σέβονται μια προϋπόθεση έγκρισης, αναζητήσεις άρθρων γνώσης που έρχονται σε διένεξη με τοπικά παγώματα αλλαγών και υβριδικά αιτήματα που διασταυρώνουν το ITSM σε παρακείμενα εργαλεία λειτουργιών.

Παγώνουν μια ιδιωτική σουίτα EnterpriseOps τύπου γυμναστηρίου (περιεκτικό sandbox, έλεγχοι αποτελεσμάτων SQL, seeded πίνακες, κανόνες πολιτικής), έτσι ώστε οι βαθμολογίες να είναι συγκρίσιμες από εβδομάδα σε εβδομάδα. Οι διαγνωστικές εκτελέσεις δείχνουν ότι ο στοχευμένος πράκτορας αποτυγχάνει εκεί που ένας ισχυρότερος δάσκαλος επιτυγχάνει. Η ηγεσία θέλει περισσότερο σήμα εκπαίδευσης χωρίς να αναπαράγει τους ίδιους αριθμούς εισιτηρίων και αναγνωριστικά οντότητας. Το AutoSynthData (ή ένας ισοδύναμος βρόχος synth-from-failures εάν ο αγωγός έρευνας είναι gated στη στοίβα τους) είναι ο υποψήφιος: μετατρέψτε τις αποτυχίες αντίθεσης σε απολυμασμένες κάρτες προδιαγραφών δυνατοτήτων, δημιουργήστε νέες εργασίες, συλλέξτε demos εκπαιδευτικών και, στη συνέχεια - κριτικά - ελέγξτε συνθετικά ίχνη από άνθρωπο πριν από οποιαδήποτε επανεκπαίδευση.

Τίποτα δεν αποστέλλεται στο Gym Pass@1 από μόνο του. Τα δεδομένα συνθεσάιζερ αντιμετωπίζονται ως υποψήφιο πρόγραμμα σπουδών, όχι ως δωρεάν αλήθεια.

Τι χρειάζεται ο βοηθός

• Πρόσβαση στον παγωμένο προσαρμογέα περιβάλλοντος τύπου γυμναστηρίου: εργαλεία, αρχική κατάσταση, πολιτικές και επαληθευτές SQL (ή ισοδύναμους βασισμένους σε κατάσταση).
• Ζευγαρωμένα αρχεία καταγραφής αξιολόγησης: οι αποτυχίες των στόχων αντιπαραβάλλονται με τις επιτυχίες των εκπαιδευτικών στις ίδιες εργασίες.
• Ένα σχήμα κάρτας που καταγράφει τις δυνατότητες, το σχήμα εργαλείων/ροής εργασίας, την αντίθεση αποτυχίας/επιτυχίας, τις απαιτούμενες ιδιότητες τελικής κατάστασης και τις επιτρεπόμενες διαστάσεις παραλλαγής - χωρίς αρχικές προτροπές, οντότητες, τροχιές ή εσωτερικά στοιχεία επαληθευτή.
• Κανόνες ελέγχου PII και πολιτικής (αναγνωριστικά αιτημάτων, ονόματα χρηστών, ονόματα CI, ρυθμιζόμενα πεδία) πριν από οτιδήποτε φύγει από το sandbox ή εισέλθει σε μια προτροπή γεννήτριας.
• Μια ουρά ανθρώπινης αναθεώρησης για δειγματοληπτικές συνθετικές εργασίες και ίχνη εκπαιδευτικών (σκοπιμότητα, ρεαλισμός, ορθότητα επαληθευτή, περιπτώσεις άρνησης/μη σκοπιμότητας).
• Καθαρές συνθήκες διακοπής: Στόχευση και πολλαπλασιασμός φάσεων. Τα πολλαπλασιασμένα δείγματα δεν ενεργοποιούν περαιτέρω γύρους πολλαπλασιασμού.

Παράδειγμα οδηγιών

Παραπομπή πλατφόρμας στον χειριστή του προγράμματος σπουδών (ή σε έναν βοηθό ενορχήστρωσης που συντάσσει μόνο κάρτες και πακέτα αξιολόγησης - δεν επανεκπαιδεύει ούτε προωθεί μοντέλα):

«Εκτελέστε το διαγνωστικό Pass@1 στις παγωμένες φέτες ITSM και Hybrid έναντι του τρέχοντος στόχου μας και του καθορισμένου καθηγητή. Για κάθε σύγκριση όπου ο στόχος αποτυγχάνει και ο καθηγητής επιτυγχάνει τουλάχιστον δύο από τις τρεις δοκιμές, συντάξτε μια κάρτα προδιαγραφών ικανότητας που έχει απολυμανθεί: ονομάστε τη δυνατότητα, απαριθμήστε τα σχετικά εργαλεία, δηλώστε τις απαιτούμενες ιδιότητες τελικής κατάστασης και απαριθμήστε τις ελεγχόμενες διαστάσεις (ζώνη προτεραιότητας, σχετική κλάση CI, σημαία παραθύρου αλλαγής, τύπος σύγκρουσης γνώσης). Αφαιρέστε τους αριθμούς εισιτηρίων, τα αναγνωριστικά χρήστη, τα ονόματα CI και τις ακατέργαστες τροχιές. Δημιουργήστε μια παρτίδα νέων εργασιών φάσης Target μόνο από αυτές τις κάρτες. Ζητήστε από τον καθηγητή να επιδείξει επιτυχίες. Εφαρμόστε ζώνη δυσκολίας (στόχος ≤1/3, καθηγητής ≥2/3), θετική και αρνητική επαλήθευση και περιορισμένη κριτική/επιδιόρθωση. Δημιουργήστε ένα πακέτο αναθεώρησης δειγμάτων 5% στρωματοποιημένων συν κάθε κάρτα απόρριψης/μη εφικτού. Μην ξεκινήσετε το SFT μέχρι να υπογράψουν δύο αναθεωρητές το πακέτο και να περάσουν οι έλεγχοι PII. Μετά το SFT σε ένα υποψήφιο σημείο ελέγχου, επανεκτιμήστε την παγωμένη σουίτα και σε ένα σύνολο ακριβούς αντιστοίχισης που δεν χρησιμοποιήσαμε ποτέ για τη δημιουργία. Αναφέρετε την κάλυψη ανά κλάση αποτυχίας και το ποσοστό παλινδρόμησης έναντι του προηγούμενο σημείο ελέγχου παραγωγής. Μην προωθείτε μόνο το Gym Score

Πώς να το δοκιμάσετε

1. Κλείδωμα γραμμής βάσης: Καταγραφή των ποσοστών επιτυχίας Pass@1 και επαληθευτή στην παγωμένη σουίτα ανά κλάση αποτυχίας (προαπαιτούμενη παραγγελία, απόρριψη παραθύρου αλλαγής, υβριδικό cross-tool, σύγκρουση γνώσης). Διατήρηση της σουίτας και των seeds αμετάβλητων για τον κύκλο.
2. Έλεγχος κάρτας: Ελέγξτε σκόπιμα ότι οι γεννήτριες δεν λαμβάνουν ποτέ πρωτότυπες προτροπές, οντότητες ή ίχνη δασκάλων - μόνο κάρτες.
3. Δείγμα Ποιοτικού Ελέγχου: Επιβεβαίωση ότι οι θετικές τροχιές περνούν τους επαληθευτές και τα μεταλλαγμένα λανθασμένα αποτελέσματα αποτυγχάνουν. Απόρριψη εργασιών που είναι ασήμαντες για τον στόχο ή ρίψη κέρματος για τον εκπαιδευτικό.
4. Ανθρώπινη αξιολόγηση: Οι αξιολογητές επισημαίνουν κάθε δείγμα ως διατήρηση / επιδιόρθωση / απόρριψη βάσει σκοπιμότητας, ρεαλισμού και ασφάλειας πολιτικής. Παρακολουθήστε τη συμφωνία μεταξύ των αξιολογητών σε ένα κοινόχρηστο υποσύνολο.
5. Διατήρηση ακριβούς αντιστοίχισης: Μετά το SFT του υποψήφιου, βαθμολογήστε μια διατήρηση πραγματικών (ή προηγουμένως παγωμένων) εργασιών που δεν εισήχθησαν ποτέ στην κάρτωση ή τη δημιουργία. Βαθμολογήστε ξεχωριστά τις σχεδόν παραφράσεις των εργασιών εκπαίδευσης για την ανίχνευση ρηχής απομνημόνευσης.
6. Πύλη παλινδρόμησης: Οποιαδήποτε κλάση αποτυχίας που επιδεινώνεται σε σχέση με το προηγούμενο σημείο ελέγχου παραγωγής μπλοκάρει την προώθηση μέχρι να εξηγηθεί ή να διορθωθεί.

Αποτέλεσμα

Μην επινοείτε εδώ ποσοστά bake-off. Χρησιμοποιήστε ένα σχέδιο μέτρησης και επισημάνετε τα δημοσιευμένα ερευνητικά στοιχεία ως ΙΣΧΥΡΙΣΜΟΣ ΑΡΘΡΟΥ όταν τα αναφέρετε.

Σχέδιο μέτρησης (τι πρέπει να αναφέρει αυτή η ομάδα):

• Κάλυψη κατηγορίας αστοχίας: ποσοστό διαγνωσμένων κατηγοριών κενών που παρήγαγαν ≥N αποδεκτές εργασίες φάσης-στόχου μετά τον έλεγχο ποιότητας (ορίστε το N εκ των προτέρων, π.χ. 20 αποδεκτές εργασίες ανά κατηγορία).
• Ακριβής αντιστοίχιση Holdout: Επιτυχία Pass@1 / επαληθευτή στο ανέπαφο holdout πριν έναντι του μετά το υποψήφιο SFT (ίδια seeds, ίδια επαληθευτής).
• Ποσοστό παλινδρόμησης: αριθμός κλάσεων αστοχίας όπου το Pass@1 πέφτει σε σύγκριση με το προηγούμενο σημείο ελέγχου παραγωγής· μπλοκάρισμα εάν κάποια κλάση κρίσιμη για την ασφάλεια παρουσιάζει παλινδρόμηση.
• Απόδοση αξιολόγησης: διατήρηση / επιδιόρθωση / απόρριψη των ποσοστών αξιολόγησης από τον άνθρωπο. Εάν το ποσοστό απόρριψης αυξηθεί, παύση. Πολλαπλασιασμός και διόρθωση καρτών ή επαληθευτών.
• Αποτυχίες ελέγχου: αριθμός δειγμάτων που αποτυγχάνουν στους ελέγχους PII/πολιτικής πριν από την έγκριση της αναθεώρησης (στόχος: μηδέν διαφεύγει στο σύνολο SFT).

ΙΣΧΥΡΙΣΜΟΣ ΑΡΘΡΟΥ (αναφορά από τον συγγραφέα στο EnterpriseOps Gym - όχι το μετρημένο αποτέλεσμα αυτής της ομάδας): Οι υβριδικές εκτελέσεις με Gemma-4-26B-A4B-it ως στόχο και Qwen3.8-27B ως δάσκαλο παρήγαγαν περίπου 2.000 δείγματα σε περίπου 18 ώρες, με τον μέσο όρο Pass@1 να αυξάνεται κατά περίπου 7,2 ποσοστιαίες μονάδες και την επιτυχία του επαληθευτή να μετακινείται από 63,01% σε 68,55%. Το ITSM με DeepSeek-V4.1-Flash ως δάσκαλο μείωσε τον μέσο όρο Pass@1 από 18,77% σε 27,18% σε περίπου 1.994 δείγματα σε μια μεγαλύτερη χρονική περίοδο (~66 ώρες). Αντιμετωπίστε αυτά ως ερευνημένα σήματα σε συγκεκριμένους τομείς και ζεύξεις, όχι ως καθολική εγγύηση για μια στοίβα παραγωγής στο Ηνωμένο Βασίλειο.

Ενδεικτικό σχήμα προγράμματος (υποθέσεις, όχι μετρούμενα κέρδη): Εάν η ομάδα αποδεχτεί ~2.000 δείγματα με έλεγχο ποιότητας (QC-gled) για έναν κύκλο ITSM, προϋπολογίσει την εξαγωγή συμπερασμάτων από τους εκπαιδευτικούς συν την αναθεώρηση σε στρωματοποιημένη δειγματοληψία 5% και προωθήσει μόνο όταν το holdout δεν υποχωρεί σε τάξεις κρίσιμες για την ασφάλεια, το «αποτέλεσμα» που μπορούν να ισχυριστούν με ειλικρίνεια είναι η ωριμότητα της διαδικασίας - ελεγμένο πρόγραμμα σπουδών, καθαρισμένα ίχνη και συγκρίσιμα δέλτα παγωμένης σουίτας - όχι μια υποσχεμένη ποσοστιαία αύξηση.

Τι μπορεί να πάει στραβά

• Αντιμετώπιση του συνθεσάιζερ ως ελεύθερης αλήθειας: Η παράλειψη της ανθρώπινης αναθεώρησης ή της αρνητικής επαλήθευσης επιτρέπει στους επιτρεπτικούς επαληθευτές να παραδέχονται σκουπίδια σε μεγάλη κλίμακα.
• Διαρροή οντοτήτων: Η τροφοδοσία των αρχικών αναγνωριστικών εισιτηρίων ή των ιχνών εκπαιδευτικών στη γεννήτρια προκαλεί υπερπροσαρμογή παράφρασης. Υπάρχουν κάρτες για να το αποτρέψουν αυτό.
• Απεριόριστος Πολλαπλασιασμός: Το να αφήνουμε πολλαπλασιασμένα δείγματα να εκτοξεύουν περαιτέρω γύρους απομακρύνεται από την ονομασμένη δυνατότητα.
• Αποστολή βαθμολογίας γυμναστικής: Προώθηση επειδή το Pass@1 του frozen-suite αυξήθηκε ενώ η επισκεψιμότητα του holdout ή του production shadow επιδεινώθηκε.
• Αδύναμο όριο επιτυχίας για τον εκπαιδευτικό: Εάν ο εκπαιδευτικός δεν μπορεί να ξεπεράσει το εύρος επιτυχίας ≥2/3, το SFT διδάσκει αναξιόπιστες επιδείξεις.
• Ασαφείς επαληθευτές: Οι ρουμπρίκες συνομιλίας αντί για ελέγχους που βασίζονται σε πολιτείες βαθμολογούν τα λάθη στα τελικά αποτελέσματα ως επιτυχή.
• Άρνηση υποεκπαίδευσης: Η βελτιστοποίηση μόνο για ολοκληρωμένες μεταλλάξεις αφήνει το παράθυρο αλλαγών και τις μειώσεις πολιτικής εύθραυστες.
• Διαφυγή PII: Συνθετικές προτροπές που επανεισάγουν πραγματικό CI ή ονόματα χρηστών μετά από μια επιφανειακή σάρωση.

Πρακτικό πακέτο

Χρησιμοποιήστε βρόχους τύπου AutoSynthData - ή ένα ισοδύναμο μοτίβο σύνθεσης από αποτυχίες εάν ο αγωγός ServiceNow CoreAI δεν είναι διαθέσιμος στη μίσθωσή σας - για να πολλαπλασιάσετε δύσκολες, επαληθεύσιμες περιπτώσεις ITSM από διαγνωσμένα κενά. Απολυμάνετε σε κάρτες δυνατοτήτων, ελέγξτε με δυσκολία και θετική/αρνητική επαλήθευση, καθαρίστε δείγματα PII και ανθρώπινης αναθεώρησης πριν από το SFT. Μετρήστε την κάλυψη κατηγορίας αστοχίας, την ακριβή αντιστοίχιση και το ποσοστό παλινδρόμησης. Αναφέρετε τα στοιχεία γυμναστικής ΑΡΘΡΟΥ ΙΣΧΥΡΙΣΜΟΣ ΓΥΜΝΑΣΤΗΡΙΟΥ μόνο ως εξωτερικό ερευνητικό πλαίσιο. Τα δεδομένα σύνθεσης είναι καύσιμο προγράμματος σπουδών, όχι εγγύηση: ελέγξτε δείγματα, διατηρήστε τη σουίτα παγωμένη για δίκαιη σύγκριση και μην στέλνετε ποτέ μόνοι σας τη βαθμολογία γυμναστικής.

Συχνές ερωτήσεις

Τι είναι το AutoSynthData και σε ποιο πρόβλημα στοχεύει;

Το AutoSynthData είναι ένας αγωγός ServiceNow CoreAI / ServiceNow-AI, που περιγράφεται από τον Esakkivel Esakkiraja, ο οποίος ενσωματώνει τις αποτυχίες ενός παράγοντα-στόχου μαζί με τις νίκες ενός ισχυρότερου εκπαιδευτή σε επικυρωμένες συνθετικές εργασίες εκπαίδευσης για εταιρικά περιβάλλοντα. Εστιάζει στην περιβαλλοντική ικανότητα - τοπικές πολιτικές, σχήματα, εργαλεία και κατάσταση - αντί για ευρείες γενικές γνώσεις. Το θέμα είναι να πολλαπλασιαστεί η σκληρή, ελέγξιμη εργασία, ώστε η εποπτευόμενη βελτίωση να μπορεί να διορθώσει κενά που αφορούν συγκεκριμένα το περιβάλλον αντί να επαναλαμβάνει το ίδιο προβληματικό εισιτήριο.

Γιατί διαφέρει η περιβαλλοντική ικανότητα από την ευρεία ικανότητα μοντέλου;

Οι πράκτορες επιχειρήσεων συχνά σκοντάφτουν επειδή το ίδιο το περιβάλλον είναι συγκεκριμένο: πολιτικές αιτημάτων, ιδιορρυθμίες σχήματος, συμβόλαια εργαλείων, βάσεις δεδομένων με seed και ροές εργασίας μεταξύ συστημάτων. Ένα μοντέλο που φαίνεται ισχυρό σε ανοιχτά benchmarks μπορεί ακόμα να παγώσει σε ένα παράθυρο αλλαγής, μια σχέση CMDB ή έναν επαληθευτή που επιθεωρεί την τελική κατάσταση. Η ευρεία δυνατότητα δεν είναι το ίδιο με τη γνώση του πώς συμπεριφέρονται τα συστήματα, οι κανόνες και η κατάσταση των δεδομένων σας υπό μεταβάσεις που διέπονται από πολιτικές.

Ποιο είναι το πρακτικό σχήμα εργασίας που χρησιμοποιεί το AutoSynthData;

Ένα λειτουργικό σχήμα είναι μια εργασία που ισούται με την προδιαγραφή συστήματος, την προτροπή χρήστη και τον επαληθευτή. Η προδιαγραφή συστήματος περιέχει περιορισμούς, πολιτικές και αρχική κατάσταση, όπως seeds βάσης δεδομένων και άρθρα γνώσης. Οι προτροπές χρήστη βαθμολογούνται ως προς τη σκοπιμότητα, τον ρεαλισμό και τη δυσκολία. Οι επαληθευτές βασίζονται ιδανικά σε ελέγχους αποτελεσμάτων που βασίζονται σε SQL ή σε καταστάσεις, ώστε να βαθμολογούν τον κόσμο μετά την ενέργεια του πράκτορα, όχι μόνο την ακριβή διαδρομή του token που έχει ακολουθήσει.

Πώς οι απολυμασμένες κάρτες προδιαγραφών δυνατοτήτων αποτρέπουν την υπερβολική προσαρμογή;

Η διαγνωστική εκτέλεση αντιπαραβάλλει τις περιπτώσεις όπου ο στόχος αποτυγχάνει και ο εκπαιδευτικός επιτυγχάνει και στη συνέχεια συμπυκνώνει αυτές τις περιπτώσεις σε εξυγιασμένες κάρτες προδιαγραφών ικανότητας. Μια κάρτα καταγράφει τη δυνατότητα, τα εργαλεία ή το σχήμα της ροής εργασίας, την αντίθεση αποτυχίας/επιτυχίας, τις απαιτούμενες ιδιότητες τελικής κατάστασης και τις διαστάσεις που μπορεί να ποικίλλουν. Η γεννήτρια δεν βλέπει ποτέ τα αρχικά μηνύματα, οντότητες, τροχιές ή λεπτομέρειες επαληθευτή - μόνο τις κάρτες - επομένως οι νέες εργασίες πιέζουν τον σκληρό πυρήνα χωρίς να παραφράζουν ένα απομνημονευμένο επεισόδιο.

Ποιες είναι οι φάσεις Target και Multiply στη διαδικασία;

Η φάση-στόχος επικεντρώνεται σε βασικά δείγματα που έχουν ελεγχθεί γύρω από κενά - τις εργασίες με το υψηλότερο σήμα κοντά στο σημείο όπου ο ασθενής παράγοντας σπάει. Η φάση πολλαπλασιασμού περιστρέφει νέες παραλλαγές αποδεκτών στόχων. Τα πολλαπλασιασμένα δείγματα δεν μπορούν να ενεργοποιήσουν περαιτέρω γύρους πολλαπλασιασμού, γεγονός που εμποδίζει την απόκλιση από την ονομαστική ικανότητα που βρίσκεται υπό έλεγχο. Μετά από εποπτευόμενη βελτιστοποίηση, η επαναξιολόγηση μετατοπίζει το πρόγραμμα σπουδών προς τα εναπομείναντα κενά ως κινούμενο σύνορο και όχι ως στατική απόρριψη.

Πώς ο ποιοτικός έλεγχος σε επίπεδο δείγματος διατηρεί την αξιοπιστία των συνθετικών εργασιών;

Ένα φίλτρο δυσκολίας επίλυσης ευνοεί τις εργασίες που ο στόχος λύνει σε το πολύ μία από τις τρεις δοκιμές, ενώ ο εκπαιδευτικός επιτυγχάνει σε τουλάχιστον δύο από τις τρεις. Η θετική επαλήθευση χρειάζεται μια τροχιά αναφοράς για να περάσει. Η αρνητική επαλήθευση χρειάζεται μεταλλαγμένα λανθασμένα αποτελέσματα για να αποτύχει. Ένας βρόχος κριτικής και επιδιόρθωσης με όριο επανάληψης προσπαθεί να διορθώσει τα σχεδόν ατυχήματα και η μετα-ανασκόπηση σε επίπεδο παρτίδας ελέγχει την κάλυψη, την ποικιλομορφία, τον πλεονασμό και τους αποτυχημένους στόχους σε όλο το σύνολο.

Ποια αρχιτεκτονική χρησιμοποιεί το AutoSynthData σε όλους τους εταιρικούς τομείς;

Συνδέει έναν κοινόχρηστο ελεγκτή με έναν προσαρμογέα περιβάλλοντος. Ο ελεγκτής εκτελεί διάγνωση, carding, δημιουργία, επιδείξεις εκπαιδευτικών, πύλες ποιότητας και ομαδική αξιολόγηση. Ο προσαρμογέας συνδέει αυτά τα βήματα σε ένα συγκεκριμένο sandbox - εργαλεία, κατάσταση, πολιτικές και επαληθευτές - έτσι ώστε ο ίδιος βρόχος ελέγχου να μπορεί να δείχνει σε διαφορετικούς τομείς χωρίς να ξαναγράφει τη λογική του προγράμματος σπουδών από την αρχή.

Τι είναι το EnterpriseOps Gym σε αυτό το ερευνητικό πλαίσιο;

Το EnterpriseOps Gym είναι ο μεγάλης κλίμακας πάγκος πρακτόρων επιχειρήσεων που χρησιμοποιείται ως πλατφόρμα δοκιμών αντοχής, με περίπου 1.150 εργασίες που επιμελούνται ειδικοί σε 8 τομείς, περίπου 512 εργαλεία, περίπου 164 πίνακες βάσεων δεδομένων, εκτέλεση σε κοντέινερ, επαλήθευση αποτελεσμάτων βάσει SQL, λειτουργίες που διέπονται από πολιτικές, υβριδικά σενάρια και τροχιές με μακροχρόνια κατάσταση. Το AutoSynthData δεν παρουσιάζεται ως εφευρέτης αυτού του γυμναστηρίου. Το γυμναστήριο δείχνει τον βρόχο σύνθεσης σε δράση.

Ποια αποτελέσματα που αναφέρθηκαν από τους συγγραφείς εμφανίζονται για τις ρυθμίσεις Hybrid και ITSM;

Στο EnterpriseOps Gym, το Hybrid τρέχει με το Gemma-4-26B-A4B-it ως στόχο και το Qwen3.8-27B ως δάσκαλο, παρήγαγε περίπου 2.000 δείγματα σε περίπου 18 ώρες, με τον μέσο όρο Pass@1 να αυξάνεται κατά περίπου 7,2 ποσοστιαίες μονάδες και την επιτυχία του επαληθευτή να κινείται από 63,01% σε 68,55%. Το ITSM με το DeepSeek-V4.1-Flash ως δάσκαλο αύξησε τον μέσο όρο Pass@1 από 18,77% σε 27,18% σε περίπου 1.994 δείγματα σε μια μεγαλύτερη χρονική περίοδο. Αντιμετωπίστε αυτά ως ερευνημένα σήματα σε συγκεκριμένα ζεύγη, όχι ως καθολική εγγύηση παραγωγής.

Ποια λάθη πρέπει να αποφεύγουν οι ομάδες όταν χρησιμοποιούν βρόχους synth-from-failures;

Μην αντιμετωπίζετε τα συνθετικά δεδομένα ως ελεύθερη αλήθεια ή παραλείπετε την ανθρώπινη αξιολόγηση και την αρνητική επαλήθευση. Αποφύγετε την τροφοδοσία των αρχικών αναγνωριστικών εισιτηρίων ή των ιχνών των εκπαιδευτικών στη γεννήτρια, την επιτρέποντας πολλαπλασιασμένων δειγμάτων να εκτοξεύουν περαιτέρω γύρους ή την προώθηση στο Gym Pass@1 μόνο του, ενώ η επισκεψιμότητα από τους χρήστες που δεν έχουν πρόσβαση ή η επισκεψιμότητα από σκιά επιδεινώνεται. Παρακολουθήστε επίσης τους αδύναμους εκπαιδευτικούς κάτω από τη ζώνη επιτυχίας, τις ασαφείς ρουμπρίκες συνομιλίας αντί για τους ελέγχους κατάστασης, τις περιπτώσεις άρνησης λόγω υποεκπαίδευσης και τη διαφυγή PII μετά από μια επιφανειακή τριβή.

Αναφορές

1. Αγκαλιάζοντας το Πρόσωπο — AutoSynthData — huggingface.co
2. Γυμναστήριο EnterpriseOps — enterpriseops-gym.github.io
3. arXiv — arxiv.org
4. GitHub — EnterpriseOps-Γυμναστήριο — github.com