Τι είναι τα Βασικά Μοντέλα στην Γενετική Τεχνητή Νοημοσύνη;

Τι είναι τα Βασικά Μοντέλα στην Γενετική Τεχνητή Νοημοσύνη;

Σύντομη απάντηση: Τα μοντέλα βάσης είναι μεγάλα, γενικής χρήσης μοντέλα τεχνητής νοημοσύνης που εκπαιδεύονται σε τεράστια, ευρεία σύνολα δεδομένων και στη συνέχεια προσαρμόζονται σε πολλές εργασίες (γραφή, αναζήτηση, κωδικοποίηση, εικόνες) μέσω προτροπών, βελτιστοποίησης, εργαλείων ή ανάκτησης. Εάν χρειάζεστε αξιόπιστες απαντήσεις, συνδυάστε τες με γείωση (όπως RAG), σαφείς περιορισμούς και ελέγχους, αντί να τα αφήνετε να αυτοσχεδιάζουν.

Βασικά συμπεράσματα:

Ορισμός : Ένα ευρέως εκπαιδευμένο βασικό μοντέλο που επαναχρησιμοποιείται σε πολλές εργασίες, όχι μία εργασία ανά μοντέλο.

Προσαρμογή : Χρησιμοποιήστε υποκίνηση, βελτιστοποίηση, LoRA/προσαρμογείς, RAG και εργαλεία για να κατευθύνετε τη συμπεριφορά.

Γενετική προσαρμογή : Ενισχύουν την παραγωγή κειμένου, εικόνας, ήχου, κώδικα και πολυτροπικού περιεχομένου.

Σήματα ποιότητας : Δώστε προτεραιότητα στην ελεγξιμότητα, λιγότερες παραισθήσεις, πολυτροπική ικανότητα και αποτελεσματική εξαγωγή συμπερασμάτων.

Έλεγχοι κινδύνου : Σχεδιασμός για ψευδαισθήσεις, προκατάληψη, διαρροή απορρήτου και άμεση ένεση μέσω διακυβέρνησης και δοκιμών.

Τι είναι τα Βασικά Μοντέλα στην Γενετική Τεχνητή Νοημοσύνη; Πληροφοριακό γράφημα

Άρθρα που ίσως σας ενδιαφέρουν μετά από αυτό:

🔗 Τι είναι μια εταιρεία τεχνητής νοημοσύνης
Κατανοήστε πώς οι εταιρείες Τεχνητής Νοημοσύνης δημιουργούν προϊόντα, ομάδες και μοντέλα εσόδων.

🔗 Πώς μοιάζει ο κώδικας τεχνητής νοημοσύνης
Δείτε παραδείγματα κώδικα AI, από μοντέλα Python έως API.

🔗 Τι είναι ένας αλγόριθμος τεχνητής νοημοσύνης
Μάθετε τι είναι οι αλγόριθμοι τεχνητής νοημοσύνης και πώς λαμβάνουν αποφάσεις.

🔗 Τι είναι η τεχνολογία Τεχνητής Νοημοσύνης
Εξερευνήστε βασικές τεχνολογίες τεχνητής νοημοσύνης που τροφοδοτούν τον αυτοματισμό, την ανάλυση και τις έξυπνες εφαρμογές.

1) Μοντέλα θεμελίωσης - ένας ορισμός χωρίς ομίχλη 🧠

Ένα βασικό μοντέλο είναι ένα μεγάλο, γενικής χρήσης μοντέλο Τεχνητής Νοημοσύνης που εκπαιδεύεται σε ευρεία δεδομένα (συνήθως τόνους δεδομένων), ώστε να μπορεί να προσαρμοστεί σε πολλές εργασίες, όχι μόνο σε μία ( NIST , Stanford CRFM ).

Αντί να δημιουργηθεί ένα ξεχωριστό μοντέλο για:

  • γράφοντας email

  • απαντώντας σε ερωτήσεις

  • σύνοψη PDF

  • δημιουργία εικόνων

  • ταξινόμηση αιτημάτων υποστήριξης

  • μετάφραση γλωσσών

  • κάνοντας προτάσεις κώδικα

...εκπαιδεύετε ένα μεγάλο βασικό μοντέλο που «μαθαίνει τον κόσμο» με έναν ασαφή στατιστικό τρόπο και στη συνέχεια προσαρμόζετε σε συγκεκριμένες εργασίες με υποδείξεις, βελτιστοποιήσεις ή πρόσθετα εργαλεία ( Bommasani et al., 2021 ).

Με άλλα λόγια: είναι ένας γενικός κινητήρας που μπορείτε να κατευθύνετε.

Και ναι, η λέξη-κλειδί είναι «γενικά». Αυτό είναι όλο το κόλπο.

2) Τι είναι τα Βασικά Μοντέλα στην Γενετική Τεχνητή Νοημοσύνη; (Πώς ταιριάζουν συγκεκριμένα) 🎨📝

, λοιπόν, τα Βασικά Μοντέλα στην Γενετική Τεχνητή Νοημοσύνη; Είναι τα υποκείμενα μοντέλα που τροφοδοτούν συστήματα τα οποία μπορούν να δημιουργήσουν νέο περιεχόμενο - κείμενο, εικόνες, ήχο, κώδικα, βίντεο και, ολοένα και περισσότερο... μείγματα όλων αυτών ( NIST , NIST Generative AI Profile ).

Η γενετική τεχνητή νοημοσύνη δεν αφορά μόνο την πρόβλεψη ετικετών όπως «ανεπιθύμητο περιεχόμενο / όχι ανεπιθύμητο περιεχόμενο». Αφορά την παραγωγή αποτελεσμάτων που μοιάζουν σαν να δημιουργήθηκαν από ένα άτομο.

  • παράγραφοι

  • ποιήματα

  • περιγραφές προϊόντων

  • εικονογραφήσεις

  • μελωδίες

  • πρωτότυπα εφαρμογών

  • συνθετικές φωνές

  • και μερικές φορές απίστευτα σίγουρες ανοησίες 🙃

Τα μοντέλα θεμελίωσης είναι ιδιαίτερα καλά εδώ επειδή:

  • έχουν απορροφήσει ευρεία μοτίβα από τεράστια σύνολα δεδομένων ( Bommasani et al., 2021 )

  • μπορούν να γενικεύσουν σε νέες προτροπές (ακόμα και σε ασυνήθιστες) ( Brown et al., 2020 )

  • μπορούν να επαναχρησιμοποιηθούν για δεκάδες αποτελέσματα χωρίς επανεκπαίδευση από την αρχή ( Bommasani et al., 2021 )

Είναι η «βασική στρώση» - σαν ζύμη ψωμιού. Μπορείτε να τα ψήσετε σε μπαγκέτα, πίτσα ή ρολά κανέλας... δεν είναι τέλεια μεταφορά, αλλά με καταλαβαίνετε 😄

3) Γιατί άλλαξαν τα πάντα (και γιατί ο κόσμος δεν σταματά να μιλάει γι' αυτά) 🚀

Πριν από τα μοντέλα βάσης, μεγάλο μέρος της Τεχνητής Νοημοσύνης ήταν συγκεκριμένο για κάθε εργασία:

  • εκπαίδευση ενός μοντέλου για ανάλυση συναισθήματος

  • εκπαιδεύστε κάποιον άλλο για μετάφραση

  • εκπαίδευση ενός άλλου για ταξινόμηση εικόνων

  • εκπαίδευση ενός άλλου για αναγνώριση ονομασμένης οντότητας

Αυτό λειτούργησε, αλλά ήταν αργό, ακριβό και κάπως... εύθραυστο.

Τα μοντέλα θεμελίωσης το ανέστρεψαν:

  • προεκπαίδευση μία φορά (μεγάλη προσπάθεια)

  • επαναχρησιμοποίηση παντού (μεγάλη απόδοση) ( Bommasani et al., 2021 )

Αυτή η επαναχρησιμοποίηση είναι ο πολλαπλασιαστής. Οι εταιρείες μπορούν να κατασκευάσουν 20 χαρακτηριστικά πάνω σε μία οικογένεια μοντέλων, αντί να επανεφεύρουν τον τροχό 20 φορές.

Επίσης, η εμπειρία χρήστη έγινε πιο φυσική:

  • δεν «χρησιμοποιείτε ταξινομητή»

  • Μιλάς στο μοντέλο σαν να είναι μια εξυπηρετική συνάδελφος που δεν κοιμάται ποτέ ☕🤝

Μερικές φορές είναι επίσης σαν ένας συνάδελφος που με σιγουριά παρερμηνεύει τα πάντα, αλλά εντάξει. Ανάπτυξη.

4) Η βασική ιδέα: προεκπαίδευση + προσαρμογή 🧩

Σχεδόν όλα τα μοντέλα θεμελίωσης ακολουθούν ένα μοτίβο ( Stanford CRFM , NIST ):

Προεκπαίδευση (η φάση της «απορρόφησης του διαδικτύου») 📚

Το μοντέλο εκπαιδεύεται σε τεράστια, ευρεία σύνολα δεδομένων χρησιμοποιώντας αυτοεπιβλεπόμενη μάθηση ( NIST ). Για τα γλωσσικά μοντέλα, αυτό συνήθως σημαίνει πρόβλεψη λέξεων που λείπουν ή του επόμενου διακριτικού ( Devlin et al., 2018 , Brown et al., 2020 ).

Το θέμα δεν είναι να του διδάξουμε μία μόνο εργασία. Το θέμα είναι να του διδάξουμε γενικές αναπαραστάσεις :

  • γραμματική

  • γεγονότα (είδος)

  • μοτίβα συλλογισμού (μερικές φορές)

  • στυλ γραφής

  • δομή κώδικα

  • κοινή ανθρώπινη πρόθεση

Προσαρμογή (η φάση του «κάν'το πρακτικό») 🛠️

Στη συνέχεια, το προσαρμόζετε χρησιμοποιώντας ένα ή περισσότερα από τα εξής:

  • προτροπή (οδηγίες σε απλή γλώσσα)

  • ρύθμιση οδηγιών (εκπαίδευσή του να ακολουθεί οδηγίες) ( Wei et al., 2021 )

  • βελτιστοποίηση (εκπαίδευση στα δεδομένα του τομέα σας)

  • LoRA / προσαρμογείς (ελαφριές μέθοδοι συντονισμού) ( Hu et al., 2021 )

  • RAG (γενεά με επαυξημένη ανάκτηση - το μοντέλο συμβουλεύεται τα έγγραφά σας) ( Lewis et al., 2020 )

  • χρήση εργαλείων (κλήση συναρτήσεων, περιήγηση σε εσωτερικά συστήματα, κ.λπ.)

Γι' αυτό το λόγο το ίδιο βασικό μοντέλο μπορεί να γράψει μια ρομαντική σκηνή... και στη συνέχεια να βοηθήσει στην αποσφαλμάτωση ενός ερωτήματος SQL πέντε δευτερόλεπτα αργότερα 😭

5) Τι κάνει μια εκδοχή ενός μοντέλου θεμελίωσης καλή; ✅

Αυτή είναι η ενότητα που οι άνθρωποι παραλείπουν και αργότερα το μετανιώνουν.

Ένα «καλό» μοντέλο θεμελίωσης δεν είναι απλώς «μεγαλύτερο». Το μεγαλύτερο βοηθάει, σίγουρα... αλλά δεν είναι το μόνο πράγμα. Μια καλή εκδοχή ενός μοντέλου θεμελίωσης συνήθως έχει:

Ισχυρή γενίκευση 🧠

Αποδίδει καλά σε πολλές εργασίες χωρίς να χρειάζεται ειδική επανεκπαίδευση για κάθε εργασία ( Bommasani et al., 2021 ).

Σύστημα διεύθυνσης και έλεγχος 🎛️

Μπορεί να ακολουθήσει αξιόπιστα οδηγίες όπως:

  • «να είσαι συνοπτικός»

  • «χρήση κουκκίδων»

  • «Γράψε με φιλικό τόνο»

  • «Μην αποκαλύπτετε εμπιστευτικές πληροφορίες»

Μερικά μοντέλα είναι κομψά αλλά γλιστερά. Σαν να προσπαθείς να κρατήσεις ένα κομμάτι σαπούνι στο ντους. Χρήσιμα, αλλά ασταθή 😅

Χαμηλή τάση για ψευδαισθήσεις (ή τουλάχιστον ειλικρινής αβεβαιότητα) 🧯

Κανένα μοντέλο δεν είναι άτρωτο στις ψευδαισθήσεις, αλλά οι καλές:

  • παραισθάνομαι λιγότερο

  • παραδέχομαι την αβεβαιότητα πιο συχνά

  • μείνετε πιο κοντά στο παρεχόμενο πλαίσιο όταν χρησιμοποιείτε ανάκτηση ( Ji et al., 2023 , Lewis et al., 2020 )

Καλή ικανότητα πολυτροπικών μεταφορών (όταν χρειάζεται) 🖼️🎧

Αν δημιουργείτε βοηθούς που διαβάζουν εικόνες, ερμηνεύουν γραφήματα ή κατανοούν ήχο, η πολυτροπικότητα έχει μεγάλη σημασία ( Radford et al., 2021 ).

Αποτελεσματική συμπερασματολογία ⚡

Η καθυστέρηση και το κόστος έχουν σημασία. Ένα μοντέλο που είναι δυνατό αλλά αργό είναι σαν ένα σπορ αυτοκίνητο με σκασμένο λάστιχο.

Ασφάλεια και ευθυγράμμιση συμπεριφοράς 🧩

Όχι απλώς «αρνηθείτε τα πάντα», αλλά:

  • αποφύγετε επιβλαβείς οδηγίες

  • μείωση της προκατάληψης

  • χειρίζομαι ευαίσθητα θέματα με προσοχή

  • αντιστέκεται σε βασικές προσπάθειες jailbreak (κάπως...) ( NIST AI RMF 1.0 , NIST Generative AI Profile )

Τεκμηρίωση + οικοσύστημα 🌱

Αυτό ακούγεται στεγνό, αλλά είναι αληθινό:

  • εργαλεία

  • καλωδιώσεις αξιολόγησης

  • επιλογές ανάπτυξης

  • εταιρικοί έλεγχοι

  • υποστήριξη βελτιστοποίησης

Ναι, η λέξη «οικοσύστημα» είναι αόριστη. Κι εγώ τη μισώ. Αλλά έχει σημασία.

6) Συγκριτικός Πίνακας - κοινές επιλογές μοντέλων θεμελίωσης (και σε τι χρησιμεύουν) 🧾

Παρακάτω είναι ένας πρακτικός, ελαφρώς ατελής συγκριτικός πίνακας. Δεν είναι «η μία αληθινή λίστα», είναι μάλλον: τι επιλέγουν οι άνθρωποι στην άγρια ​​φύση.

τύπος εργαλείου / μοντέλου ακροατήριο σχεδόν ακριβό γιατί λειτουργεί
Ιδιόκτητο LLM (στυλ συνομιλίας) ομάδες που θέλουν ταχύτητα + στιλβωτική δράση βάσει χρήσης / συνδρομής Εξαιρετική παρακολούθηση οδηγιών, ισχυρή γενική απόδοση, συνήθως καλύτερο "αμέσως μετά την απόσυρση" 😌
Ανοιχτού βάρους LLM (αυτοφιλοξενούμενο) κατασκευαστές που θέλουν τον έλεγχο κόστος υποδομών (και πονοκέφαλοι) Προσαρμόσιμο, φιλικό προς το απόρρητο, μπορεί να εκτελεστεί τοπικά... αν σας αρέσει να πειραματίζεστε τα μεσάνυχτα
Γεννήτρια εικόνας διάχυσης δημιουργικά άτομα, ομάδες σχεδιασμού από δωρεάν έως επί πληρωμή Εξαιρετική σύνθεση εικόνας, ποικιλία στυλ, επαναληπτικές ροές εργασίας (επίσης: τα δάχτυλα μπορεί να είναι εκτός λειτουργίας) ✋😬 ( Ho et al., 2020 , Rombach et al., 2021 )
Πολυτροπικό μοντέλο «γλώσσας όρασης» εφαρμογές που διαβάζουν εικόνες + κείμενο βάσει χρήσης Σας επιτρέπει να κάνετε ερωτήσεις σχετικά με εικόνες, στιγμιότυπα οθόνης, διαγράμματα - εκπληκτικά εύχρηστο ( Radford et al., 2021 )
Ενσωμάτωση μοντέλου θεμελίωσης αναζήτηση + συστήματα RAG χαμηλό κόστος ανά κλήση Μετατρέπει κείμενο σε διανύσματα για σημασιολογική αναζήτηση, ομαδοποίηση, σύσταση - ήσυχη ενέργεια MVP ( Karpukhin et al., 2020 , Douze et al., 2024 )
Μοντέλο βάσης μετατροπής ομιλίας σε κείμενο τηλεφωνικά κέντρα, δημιουργοί βάσει χρήσης / τοπικά Γρήγορη μεταγραφή, πολυγλωσσική υποστήριξη, αρκετά καλή για θορυβώδη ήχο (συνήθως) 🎙️ ( Whisper )
Μοντέλο βάσης μετατροπής κειμένου σε ομιλία ομάδες προϊόντων, μέσα ενημέρωσης βάσει χρήσης Φυσική παραγωγή φωνής, φωνητικά στυλ, αφήγηση - μπορεί να γίνουν τρομακτικά αληθινά ( Shen et al., 2017 )
LLM με επίκεντρο τον κώδικα προγραμματιστές βάσει χρήσης / συνδρομής Καλύτερος σε μοτίβα κώδικα, εντοπισμό σφαλμάτων, αναδιαμόρφωση... ακόμα δεν είναι αναγνώστης μυαλού 😅

Παρατηρήστε πώς ο όρος «μοντέλο βάσης» δεν σημαίνει μόνο «chatbot». Οι ενσωματώσεις και τα μοντέλα ομιλίας μπορούν επίσης να είναι βασικά, επειδή είναι ευρέα και επαναχρησιμοποιήσιμα σε διάφορες εργασίες ( Bommasani et al., 2021 , NIST ).

7) Πιο προσεκτική ματιά: πώς μαθαίνουν τα μοντέλα βάσης γλώσσας (η έκδοση vibe) 🧠🧃

Τα γλωσσικά μοντέλα (συχνά ονομάζονται LLM) συνήθως εκπαιδεύονται σε τεράστιες συλλογές κειμένου. Μαθαίνουν προβλέποντας διακριτικά ( Brown et al., 2020 ). Αυτό είναι όλο. Δεν υπάρχει μυστική σκόνη νεράιδων.

Αλλά η μαγεία είναι ότι η πρόβλεψη των διακριτικών αναγκάζει το μοντέλο να μάθει τη δομή ( CSET ):

  • γραμματική και συντακτικό

  • σχέσεις θεμάτων

  • μοτίβα που μοιάζουν με συλλογισμό (μερικές φορές)

  • κοινές ακολουθίες σκέψης

  • πώς οι άνθρωποι εξηγούν πράγματα, διαφωνούν, ζητούν συγγνώμη, διαπραγματεύονται, διδάσκουν

Είναι σαν να μαθαίνεις να μιμείσαι εκατομμύρια συζητήσεις χωρίς να «καταλαβαίνεις» τον τρόπο που το κάνουν οι άνθρωποι. Κάτι που ακούγεται σαν να μην θα έπρεπε να λειτουργεί... κι όμως συνεχίζει να λειτουργεί.

Μια μικρή υπερβολή: είναι ουσιαστικά σαν να συμπιέζουμε ανθρώπινη γραφή σε έναν γιγάντιο πιθανοκρατικό εγκέφαλο.
Από την άλλη, αυτή η μεταφορά είναι λίγο καταραμένη. Αλλά προχωράμε 😄

8) Πιο προσεκτική ματιά: μοντέλα διάχυσης (γιατί οι εικόνες λειτουργούν διαφορετικά) 🎨🌀

Τα μοντέλα θεμελίωσης εικόνας χρησιμοποιούν συχνά διάχυσης ( Ho et al., 2020 , Rombach et al., 2021 ).

Η πρόχειρη ιδέα:

  1. προσθέστε θόρυβο στις εικόνες μέχρι να γίνουν ουσιαστικά στατικές σαν της τηλεόρασης

  2. εκπαιδεύστε ένα μοντέλο για να αντιστρέψει αυτόν τον θόρυβο βήμα προς βήμα

  3. κατά τη στιγμή της δημιουργίας, ξεκινήστε με θόρυβο και «αποθορυβοποιήστε» σε μια εικόνα καθοδηγούμενη από μια προτροπή ( Ho et al., 2020 )

Γι' αυτό η δημιουργία εικόνων μοιάζει με την «ανάπτυξη» μιας φωτογραφίας, εκτός από το ότι η φωτογραφία δείχνει έναν δράκο που φοράει αθλητικά παπούτσια σε έναν διάδρομο σούπερ μάρκετ 🛒🐉

Τα μοντέλα διάχυσης είναι καλά επειδή:

  • δημιουργούν οπτικά εφέ υψηλής ποιότητας

  • μπορούν να καθοδηγηθούν έντονα από κείμενο

  • υποστηρίζουν επαναληπτική βελτίωση (παραλλαγές, inpainting, αναβάθμιση) ( Rombach et al., 2021 )

Επίσης, μερικές φορές δυσκολεύονται με:

  • απόδοση κειμένου μέσα σε εικόνες

  • λεπτομερείς ανατομικές λεπτομέρειες

  • συνεπής ταυτότητα χαρακτήρων σε όλες τις σκηνές (βελτιώνεται, αλλά εξακολουθεί να υπάρχει)

9) Πιο προσεκτική ματιά: πολυτροπικά μοντέλα βάσης (κείμενο + εικόνες + ήχος) 👀🎧📝

Τα πολυτροπικά μοντέλα θεμελίωσης στοχεύουν στην κατανόηση και τη δημιουργία πολλαπλών τύπων δεδομένων:

  • κείμενο

  • εικόνες

  • ήχος

  • βίντεο

  • μερικές φορές είσοδοι τύπου αισθητήρα ( NIST Generative AI Profile )

Γιατί αυτό έχει σημασία στην πραγματική ζωή:

  • Η υποστήριξη πελατών μπορεί να ερμηνεύσει στιγμιότυπα οθόνης

  • Τα εργαλεία προσβασιμότητας μπορούν να περιγράψουν εικόνες

  • Οι εκπαιδευτικές εφαρμογές μπορούν να εξηγήσουν διαγράμματα

  • Οι δημιουργοί μπορούν να αναμιγνύουν γρήγορα μορφές

  • Τα επιχειρηματικά εργαλεία μπορούν να «διαβάσουν» ένα στιγμιότυπο οθόνης του πίνακα ελέγχου και να το συνοψίσουν

Στο παρασκήνιο, τα πολυτροπικά συστήματα συχνά ευθυγραμμίζουν τις αναπαραστάσεις:

  • μετατρέψτε μια εικόνα σε ενσωματώσεις

  • μετατρέψτε κείμενο σε ενσωματώσεις

  • μάθετε έναν κοινόχρηστο χώρο όπου το «γάτα» ταιριάζει με τα pixel της γάτας 😺 ( Radford et al., 2021 )

Δεν είναι πάντα κομψό. Μερικές φορές είναι ραμμένο σαν πάπλωμα. Αλλά λειτουργεί.

10) Λεπτομερής ρύθμιση vs προτροπή vs RAG (πώς προσαρμόζετε το βασικό μοντέλο) 🧰

Αν προσπαθείτε να κάνετε ένα βασικό μοντέλο πρακτικό για έναν συγκεκριμένο τομέα (νομικό, ιατρικό, εξυπηρέτηση πελατών, εσωτερική γνώση), έχετε μερικούς μοχλούς:

Προτροπή 🗣️

Ταχύτερο και απλούστερο.

  • Πλεονεκτήματα: μηδενική εκπαίδευση, άμεση επανάληψη

  • μειονεκτήματα: μπορεί να είναι ασυνεπές, όρια πλαισίου, ευθραυστότητα

Βελτιστοποίηση 🎯

Εκπαιδεύστε περαιτέρω το μοντέλο στα παραδείγματά σας.

  • Πλεονεκτήματα: πιο συνεπής συμπεριφορά, καλύτερη γλώσσα τομέα, μπορεί να μειώσει το μήκος της προτροπής

  • μειονεκτήματα: κόστος, απαιτήσεις ποιότητας δεδομένων, κίνδυνος υπερπροσαρμογής, συντήρηση

Ελαφρύς συντονισμός (LoRA / προσαρμογείς) 🧩

Μια πιο αποτελεσματική εκδοχή της λεπτής ρύθμισης ( Hu et al., 2021 ).

  • Πλεονεκτήματα: φθηνότερο, αρθρωτό, πιο εύκολο στην αντικατάσταση

  • μειονεκτήματα: χρειάζεται ακόμη πρόγραμμα εκπαίδευσης και αξιολόγησης

RAG (γενιά με επαυξημένη ανάκτηση) 🔎

Το μοντέλο ανακτά σχετικά έγγραφα από τη βάση γνώσεών σας και απαντά χρησιμοποιώντας τα ( Lewis et al., 2020 ).

  • Πλεονεκτήματα: ενημερωμένη γνώση, εσωτερικές παραπομπές (αν την εφαρμόσετε), λιγότερη επανεκπαίδευση

  • μειονεκτήματα: η ποιότητα ανάκτησης μπορεί να το κάνει ή να το καταστρέψει, χρειάζεται καλή ομαδοποίηση + ενσωματώσεις

Η αλήθεια είναι ότι πολλά επιτυχημένα συστήματα συνδυάζουν την υπαγόρευση και το RAG. Η βελτιστοποίηση είναι ισχυρή, αλλά όχι πάντα απαραίτητη. Οι άνθρωποι την εφαρμόζουν πολύ γρήγορα επειδή ακούγεται εντυπωσιακό 😅

11) Κίνδυνοι, όρια και η ενότητα «παρακαλώ μην το χρησιμοποιείτε αυτό στα τυφλά» 🧯😬

Τα μοντέλα Foundation είναι ισχυρά, αλλά δεν είναι σταθερά όπως το παραδοσιακό λογισμικό. Μοιάζουν περισσότερο με… έναν ταλαντούχο ασκούμενο με πρόβλημα αυτοπεποίθησης.

Βασικοί περιορισμοί στον σχεδιασμό:

Παραισθήσεις 🌀

Τα μοντέλα μπορούν να εφεύρουν:

  • ψεύτικες πηγές

  • λανθασμένα γεγονότα

  • εύλογα αλλά λανθασμένα βήματα ( Ji et al., 2023 )

Μετριασμοί:

  • RAG με θεμελιωμένο πλαίσιο ( Lewis et al., 2020 )

  • περιορισμένες έξοδοι (σχήματα, κλήσεις εργαλείων)

  • ρητή οδηγία «μην μαντέψετε»

  • επίπεδα επαλήθευσης (κανόνες, διασταυρούμενοι έλεγχοι, ανθρώπινη αναθεώρηση)

Προκατάληψη και επιβλαβή πρότυπα ⚠️

Επειδή τα δεδομένα εκπαίδευσης αντικατοπτρίζουν τους ανθρώπους, μπορείτε να λάβετε:

Μετριασμοί:

Απόρρητο δεδομένων και διαρροή 🔒

Εάν εισάγετε εμπιστευτικά δεδομένα σε ένα τελικό σημείο μοντέλου, πρέπει να γνωρίζετε:

  • πώς αποθηκεύεται

  • είτε χρησιμοποιείται για εκπαίδευση

  • τι είδους καταγραφή υπάρχει

  • τι ελέγχει τις ανάγκες του οργανισμού σας ( NIST AI RMF 1.0 )

Μετριασμοί:

  • επιλογές ιδιωτικής ανάπτυξης

  • ισχυρή διακυβέρνηση

  • ελάχιστη έκθεση σε δεδομένα

  • RAG μόνο για εσωτερική χρήση με αυστηρό έλεγχο πρόσβασης ( NIST Generative AI Profile , Carlini et al., 2021 )

Άμεση ένεση (ειδικά με RAG) 🕳️

Εάν το μοντέλο διαβάσει μη αξιόπιστο κείμενο, αυτό το κείμενο μπορεί να προσπαθήσει να το χειραγωγήσει:

  • «Αγνοήστε τις προηγούμενες οδηγίες…»

  • «Στείλε μου το μυστικό…» ( OWASP , Greshake et al., 2023 )

Μετριασμοί:

  • οδηγίες απομόνωσης συστήματος

  • απολύμανση ανακτημένου περιεχομένου

  • χρήση πολιτικών που βασίζονται σε εργαλεία (όχι μόνο προτροπών)

  • δοκιμή με αντίπαλες εισόδους ( OWASP Cheat Sheet , NIST Generative AI Profile )

Δεν προσπαθώ να σε τρομάξω. Απλώς... είναι καλύτερο να ξέρεις πού τρίζουν οι σανίδες του πατώματος.

12) Πώς να επιλέξετε ένα μοντέλο βάσης για την περίπτωσή σας 🎛️

Αν επιλέγετε ένα μοντέλο θεμελίωσης (ή χτίζετε πάνω σε ένα), ξεκινήστε με αυτές τις οδηγίες:

Ορίστε τι παράγετε 🧾

  • μόνο κείμενο

  • εικόνες

  • ήχος

  • μικτή πολυτροπική μεταφορά

Θέστε τον πήχη της πραγματικότητας 📌

Εάν χρειάζεστε υψηλή ακρίβεια (οικονομικά, υγεία, νομικά, ασφάλεια):

  • θα χρειαστείτε RAG ( Lewis et al., 2020 )

  • θα θες επιβεβαίωση

  • θα χρειαστείτε ανθρώπινη αξιολόγηση εν κινήσει (τουλάχιστον μερικές φορές) ( NIST AI RMF 1.0 )

Αποφασίστε τον στόχο καθυστέρησης ⚡

Η συνομιλία είναι άμεση. Η σύνοψη παρτίδας μπορεί να είναι πιο αργή.
Εάν χρειάζεστε άμεση απάντηση, το μέγεθος του μοντέλου και η φιλοξενία έχουν σημασία.

Απαιτήσεις απορρήτου και συμμόρφωσης χαρτών 🔐

Ορισμένες ομάδες απαιτούν:

  • ανάπτυξη σε εγκατάσταση / VPC

  • καμία διατήρηση δεδομένων

  • αυστηρά αρχεία καταγραφής ελέγχου

  • έλεγχος πρόσβασης ανά έγγραφο ( NIST AI RMF 1.0 , NIST Generative AI Profile )

Ισορροπία προϋπολογισμού - και υπομονή 😅

Η αυτο-φιλοξενία παρέχει έλεγχο αλλά προσθέτει πολυπλοκότητα.
Τα διαχειριζόμενα API είναι εύκολα αλλά μπορεί να είναι ακριβά και λιγότερο προσαρμόσιμα.

Μια μικρή πρακτική συμβουλή: δημιουργήστε πρώτα ένα πρωτότυπο με κάτι εύκολο και στη συνέχεια σκληρύνετε το. Το να ξεκινήσετε με την «τέλεια» ρύθμιση συνήθως επιβραδύνει τα πάντα.

13) Τι είναι τα Βασικά Μοντέλα στην Γενετική Τεχνητή Νοημοσύνη; (Το γρήγορο νοητικό μοντέλο) 🧠✨

Ας το επαναφέρουμε. Τι είναι τα Βασικά Μοντέλα στην Γενετική Τεχνητή Νοημοσύνη;

Αυτοί είναι:

  • μεγάλα, γενικά μοντέλα εκπαιδευμένα σε ευρεία δεδομένα ( NIST , Stanford CRFM )

  • ικανό να δημιουργεί περιεχόμενο (κείμενο, εικόνες, ήχο κ.λπ.) ( NIST Generative AI Profile )

  • προσαρμόσιμο σε πολλές εργασίες μέσω προτροπών, βελτιστοποίησης και ανάκτησης ( Bommasani et al., 2021 )

  • το βασικό επίπεδο που τροφοδοτεί τα περισσότερα σύγχρονα προϊόντα γενετικής τεχνητής νοημοσύνης

Δεν αποτελούν μία μόνο αρχιτεκτονική ή μάρκα. Είναι μια κατηγορία μοντέλων που συμπεριφέρονται σαν πλατφόρμα.

Ένα μοντέλο βάσης μοιάζει λιγότερο με αριθμομηχανή και περισσότερο με κουζίνα. Μπορείτε να μαγειρέψετε πολλά φαγητά σε αυτό. Μπορείτε επίσης να κάψετε το τοστ αν δεν προσέχετε... αλλά η κουζίνα είναι ακόμα αρκετά βολική 🍳🔥

14) Ανακεφαλαίωση και παραλαβή ✅🙂

Τα βασικά μοντέλα είναι οι επαναχρησιμοποιήσιμες μηχανές της γενετικής Τεχνητής Νοημοσύνης. Εκπαιδεύονται σε γενικές γραμμές και στη συνέχεια προσαρμόζονται σε συγκεκριμένες εργασίες μέσω προτροπής, βελτιστοποίησης και ανάκτησης ( NIST , Stanford CRFM ). Μπορούν να είναι καταπληκτικά, ακατάστατα, ισχυρά και κατά καιρούς γελοία - όλα ταυτόχρονα.

Βουλώνω πάλι:

  • Μοντέλο θεμελίωσης = βασικό μοντέλο γενικής χρήσης ( NIST )

  • Γενετική Τεχνητή Νοημοσύνη = δημιουργία περιεχομένου, όχι μόνο ταξινόμηση ( Προφίλ Γενετικής Τεχνητής Νοημοσύνης NIST )

  • Οι μέθοδοι προσαρμογής (υποκίνηση, RAG, συντονισμός) το καθιστούν πρακτικό ( Lewis et al., 2020 , Hu et al., 2021 )

  • Η επιλογή ενός μοντέλου βασίζεται σε συμβιβασμούς: ακρίβεια, κόστος, καθυστέρηση, ιδιωτικότητα, ασφάλεια ( NIST AI RMF 1.0 )

Αν κατασκευάζετε οτιδήποτε με παραγωγική τεχνητή νοημοσύνη, η κατανόηση των μοντέλων θεμελίωσης δεν είναι προαιρετική. Είναι ολόκληρος ο όροφος στον οποίο βρίσκεται το κτίριο... και ναι, μερικές φορές το δάπεδο τρέμει λίγο 😅

Συχνές ερωτήσεις

Μοντέλα θεμελίωσης, με απλά λόγια

Ένα βασικό μοντέλο είναι ένα μεγάλο, γενικής χρήσης μοντέλο τεχνητής νοημοσύνης που έχει εκπαιδευτεί σε ευρεία δεδομένα, ώστε να μπορεί να επαναχρησιμοποιηθεί για πολλές εργασίες. Αντί να δημιουργείτε ένα μοντέλο ανά εργασία, ξεκινάτε με ένα ισχυρό «βασικό» μοντέλο και το προσαρμόζετε ανάλογα με τις ανάγκες. Αυτή η προσαρμογή συμβαίνει συχνά μέσω προτροπής, βελτιστοποίησης, ανάκτησης (RAG) ή εργαλείων. Η κεντρική ιδέα είναι το εύρος συν η δυνατότητα καθοδήγησης.

Πώς διαφέρουν τα βασικά μοντέλα από τα παραδοσιακά μοντέλα τεχνητής νοημοσύνης που αφορούν συγκεκριμένες εργασίες

Η παραδοσιακή Τεχνητή Νοημοσύνη συχνά εκπαιδεύει ένα ξεχωριστό μοντέλο για κάθε εργασία, όπως η ανάλυση συναισθημάτων ή η μετάφραση. Τα βασικά μοντέλα αντιστρέφουν αυτό το μοτίβο: προεκπαιδεύουν μία φορά και στη συνέχεια επαναχρησιμοποιούν σε πολλές λειτουργίες και προϊόντα. Αυτό μπορεί να μειώσει την διπλή προσπάθεια και να επιταχύνει την παροχή νέων δυνατοτήτων. Το μειονέκτημα είναι ότι μπορεί να είναι λιγότερο προβλέψιμα από το κλασικό λογισμικό, εκτός εάν προσθέσετε περιορισμούς και δοκιμές.

Βασικά μοντέλα στην παραγωγική τεχνητή νοημοσύνη

Στην παραγωγική Τεχνητή Νοημοσύνη, τα βασικά μοντέλα είναι τα βασικά συστήματα που μπορούν να παράγουν νέο περιεχόμενο όπως κείμενο, εικόνες, ήχο, κώδικα ή πολυτροπικές εξόδους. Δεν περιορίζονται στην επισήμανση ή την ταξινόμηση. Δημιουργούν απαντήσεις που μοιάζουν με ανθρωπογενή εργασία. Επειδή μαθαίνουν ευρέα μοτίβα κατά την προεκπαίδευση, μπορούν να χειριστούν πολλούς τύπους και μορφές προτροπών. Αποτελούν το «βασικό επίπεδο» πίσω από τις περισσότερες σύγχρονες παραγωγικές εμπειρίες.

Πώς μαθαίνουν τα βασικά μοντέλα κατά την προεκπαίδευση

Τα περισσότερα μοντέλα βάσης γλώσσας μαθαίνουν προβλέποντας διακριτικά στοιχεία, όπως την επόμενη λέξη ή λέξεις που λείπουν στο κείμενο. Αυτός ο απλός στόχος τα ωθεί να εσωτερικεύσουν δομές όπως η γραμματική, το ύφος και τα κοινά μοτίβα εξήγησης. Μπορούν επίσης να απορροφήσουν μεγάλο μέρος της παγκόσμιας γνώσης, αν και όχι πάντα αξιόπιστα. Το αποτέλεσμα είναι μια ισχυρή γενική αναπαράσταση που μπορείτε αργότερα να κατευθύνετε προς συγκεκριμένη εργασία.

Η διαφορά μεταξύ προτροπής, βελτιστοποίησης, LoRA και RAG

Η υπαγόρευση είναι ο ταχύτερος τρόπος για να κατευθύνετε τη συμπεριφορά χρησιμοποιώντας οδηγίες, αλλά μπορεί να είναι εύθραυστη. Η βελτιστοποίηση εκπαιδεύει περαιτέρω το μοντέλο στα παραδείγματά σας για πιο συνεπή συμπεριφορά, αλλά προσθέτει κόστος και συντήρηση. Οι LoRA/προσαρμογείς είναι μια ελαφρύτερη προσέγγιση βελτιστοποίησης που είναι συχνά φθηνότερη και πιο αρθρωτή. Το RAG ανακτά σχετικά έγγραφα και έχει την απάντηση του μοντέλου χρησιμοποιώντας αυτό το πλαίσιο, το οποίο βοηθά στην ανανέωση και τη γειωσιμότητα.

Πότε να χρησιμοποιείτε RAG αντί για βελτιστοποίηση

Το RAG είναι συχνά μια ισχυρή επιλογή όταν χρειάζεστε απαντήσεις που βασίζονται στα τρέχοντα έγγραφα ή στην εσωτερική βάση γνώσεων σας. Μπορεί να μειώσει τις «εικασίες» παρέχοντας στο μοντέλο σχετικό πλαίσιο κατά τη στιγμή της δημιουργίας. Η βελτιστοποίηση είναι καλύτερη όταν χρειάζεστε συνεπές στυλ, διατύπωση τομέα ή συμπεριφορά που η προτροπή δεν μπορεί να παράγει αξιόπιστα. Πολλά πρακτικά συστήματα συνδυάζουν την προτροπή + RAG πριν επιδιώξουν βελτιστοποίηση.

Πώς να μειώσετε τις παραισθήσεις και να λάβετε πιο αξιόπιστες απαντήσεις

Μια συνηθισμένη προσέγγιση είναι η θεμελίωση του μοντέλου με ανάκτηση (RAG), ώστε να παραμένει κοντά στο παρεχόμενο περιβάλλον. Μπορείτε επίσης να περιορίσετε τις εξόδους με σχήματα, να απαιτήσετε κλήσεις εργαλείων για βασικά βήματα και να προσθέσετε σαφείς οδηγίες "μην μαντέψετε". Τα επίπεδα επαλήθευσης έχουν επίσης σημασία, όπως οι έλεγχοι κανόνων, ο διασταυρούμενος έλεγχος και ο ανθρώπινος έλεγχος για περιπτώσεις χρήσης υψηλότερου διακυβεύματος. Αντιμετωπίστε το μοντέλο ως πιθανολογικό βοηθό και όχι ως πηγή αλήθειας εξ ορισμού.

Οι μεγαλύτεροι κίνδυνοι με τα μοντέλα βάσης στην παραγωγή

Οι συνήθεις κίνδυνοι περιλαμβάνουν παραισθήσεις, μεροληπτικά ή επιβλαβή μοτίβα από δεδομένα εκπαίδευσης και διαρροή απορρήτου εάν ο χειρισμός των ευαίσθητων δεδομένων δεν είναι σωστός. Τα συστήματα μπορεί επίσης να είναι ευάλωτα σε εισαγωγή μηνυμάτων, ειδικά όταν το μοντέλο διαβάζει μη αξιόπιστο κείμενο από έγγραφα ή περιεχόμενο ιστού. Οι μετριασμοί συνήθως περιλαμβάνουν διακυβέρνηση, red-teaming, ελέγχους πρόσβασης, ασφαλέστερα μοτίβα μηνυμάτων και δομημένη αξιολόγηση. Σχεδιάστε για αυτούς τους κινδύνους νωρίς αντί για ενημερώσεις κώδικα αργότερα.

Άμεση έγχυση και γιατί είναι σημαντική στα συστήματα RAG

Η εισαγωγή προτροπών συμβαίνει όταν ένα μη αξιόπιστο κείμενο προσπαθεί να παρακάμψει οδηγίες, όπως «αγνόηση προηγούμενων οδηγιών» ή «αποκάλυψη μυστικών». Στο RAG, τα ανακτημένα έγγραφα μπορούν να περιέχουν αυτές τις κακόβουλες οδηγίες και το μοντέλο μπορεί να τις ακολουθήσει εάν δεν είστε προσεκτικοί. Μια συνηθισμένη προσέγγιση είναι η απομόνωση των οδηγιών συστήματος, η απολύμανση του ανακτημένου περιεχομένου και η αξιοποίηση πολιτικών που βασίζονται σε εργαλεία αντί μόνο σε προτροπές. Η δοκιμή με αντίπαλες εισόδους βοηθά στην αποκάλυψη αδύναμων σημείων.

Πώς να επιλέξετε ένα μοντέλο βάσης για την περίπτωση χρήσης σας

Ξεκινήστε ορίζοντας τι χρειάζεται να δημιουργήσετε: κείμενο, εικόνες, ήχο, κώδικα ή πολυτροπικά δεδομένα εξόδου. Στη συνέχεια, ορίστε τον πήχη της ακρίβειας - οι τομείς υψηλής ακρίβειας συχνά χρειάζονται γείωση (RAG), επικύρωση και μερικές φορές ανθρώπινο έλεγχο. Λάβετε υπόψη την καθυστέρηση και το κόστος, επειδή ένα ισχυρό μοντέλο που είναι αργό ή ακριβό μπορεί να είναι δύσκολο να υλοποιηθεί. Τέλος, αντιστοιχίστε τις ανάγκες απορρήτου και συμμόρφωσης με τις επιλογές και τα στοιχεία ελέγχου ανάπτυξης.

Αναφορές

  1. Εθνικό Ινστιτούτο Προτύπων και Τεχνολογίας (NIST) - Μοντέλο Ιδρύματος (Όρος Γλωσσαρίου) - csrc.nist.gov

  2. Εθνικό Ινστιτούτο Προτύπων και Τεχνολογίας (NIST) - NIST AI 600-1: Προφίλ Γενετικής Τεχνητής Νοημοσύνης - nvlpubs.nist.gov

  3. Εθνικό Ινστιτούτο Προτύπων και Τεχνολογίας (NIST) - NIST AI 100-1: Πλαίσιο Διαχείρισης Κινδύνων Τεχνητής Νοημοσύνης (AI RMF 1.0) - nvlpubs.nist.gov

  4. Κέντρο Έρευνας για τα Μοντέλα Θεμελίωσης του Στάνφορντ (CRFM) - Έκθεση - crfm.stanford.edu

  5. arXiv - On the Opportunities and Risks of Foundation Models (Bommasani et al., 2021) - arxiv.org

  6. arXiv - Τα γλωσσικά μοντέλα είναι μαθητές με λίγες πιθανότητες μάθησης (Brown et al., 2020) - arxiv.org

  7. arXiv - Επαυξημένη Ανάκτηση με Δημιουργία για Εργασίες NLP Εντατικής Γνώσης (Lewis et al., 2020) - arxiv.org

  8. arXiv - LoRA: Προσαρμογή Χαμηλού Βαθμού σε Μεγάλα Γλωσσικά Μοντέλα (Hu et al., 2021) - arxiv.org

  9. arXiv - BERT: Προεκπαίδευση Βαθιών Αμφίδρομων Μετασχηματιστών για την Κατανόηση Γλώσσας (Devlin et al., 2018) - arxiv.org

  10. arXiv - Τα βελτιωμένα γλωσσικά μοντέλα είναι μαθητές με μηδενικό πλεονέκτημα (Wei et al., 2021) - arxiv.org

  11. Ψηφιακή Βιβλιοθήκη ACM - Έρευνα για τις Παραισθήσεις στην Παραγωγή Φυσικής Γλώσσας (Ji et al., 2023) - dl.acm.org

  12. arXiv - Εκμάθηση Μεταβιβάσιμων Οπτικών Μοντέλων από την Εποπτεία Φυσικής Γλώσσας (Radford et al., 2021) - arxiv.org

  13. arXiv - Πιθανοτικά Μοντέλα Διάχυσης Αποθορυβοποίησης (Ho et al., 2020) - arxiv.org

  14. arXiv - Σύνθεση εικόνας υψηλής ανάλυσης με μοντέλα λανθάνουσας διάχυσης (Rombach et al., 2021) - arxiv.org

  15. arXiv - Ανάκτηση Πυκνών Αποσπασμάτων για Απαντήσεις Ερωτήσεων Ανοικτού Τομέα (Karpukhin et al., 2020) - arxiv.org

  16. arXiv - The Faiss library (Douze et al., 2024) - arxiv.org

  17. OpenAI - Παρουσιάζουμε το Whisper - openai.com

  18. arXiv - Φυσική Σύνθεση TTS μέσω Προετοιμασίας WaveNet σε Προβλέψεις Φασματογράμματος Mel (Shen et al., 2017) - arxiv.org

  19. Κέντρο Ασφάλειας και Αναδυόμενων Τεχνολογιών (CSET), Πανεπιστήμιο Georgetown - Η εκπληκτική δύναμη της πρόβλεψης της επόμενης λέξης: εξήγηση μεγάλων γλωσσικών μοντέλων (μέρος 1) - cset.georgetown.edu

  20. USENIX - Εξαγωγή Δεδομένων Εκπαίδευσης από Μεγάλα Γλωσσικά Μοντέλα (Carlini et al., 2021) - usenix.org

  21. OWASP - LLM01: Άμεση Έγχυση - genai.owasp.org

  22. arXiv - Περισσότερα από όσα ζητήσατε: Μια ολοκληρωμένη ανάλυση των νέων απειλών της άμεσης έγχυσης για τα μοντέλα μεγάλων γλωσσών που ενσωματώνονται σε εφαρμογές (Greshake et al., 2023) - arxiv.org

  23. Σειρά ενημερωτικών δελτίων OWASP - Ενημερωτικό δελτίο LLM για την πρόληψη έγκαιρων ενέσεων - cheatsheetseries.owasp.org

Βρείτε την τελευταία λέξη της Τεχνητής Νοημοσύνης στο επίσημο κατάστημα βοηθών τεχνητής νοημοσύνης

Σχετικά με εμάς

Επιστροφή στο ιστολόγιο