Πίνακας περιεχομένων
- "Εισαγωγή"
- Μεγάλα γλωσσικά μοντέλα (LLMs)
- Αρχιτεκτονική Transformer Encoder-Decoder
- Generative Pre-trained Transformer (GPT)
- Ενίσχυση Μάθησης
- Βήματα εκπαίδευσης ChatGPT
- Γιατί χρησιμοποιούμε αποκωδικοποιητές στο GPT;
- Αλλά γιατί χρησιμοποιούνται μόνο αποκωδικοποιητές και γιατί δεν χρησιμοποιούνται μόνο κωδικοποιητές στο GPT;
- Ποια είναι η προτροπή στο ChatGPT;
- Παράδειγμα Python για χρήση OpenAI API
- "Βιβλιογραφικές αναφορές"
- Εισαγωγή
Το ChatGPT είναι ένα «Μοντέλο Μεγάλης Γλώσσας» που αναπτύχθηκε από το OpenAI με βάση την αρχιτεκτονική GPT (Generative Pre-trained Transformer). Έχει σχεδιαστεί για να δημιουργεί ανθρώπινες απαντήσεις σε ερωτήματα και συνομιλίες φυσικής γλώσσας, χρησιμοποιώντας αλγόριθμους βαθιάς μάθησης για την κατανόηση του πλαισίου και τη δημιουργία κατάλληλων απαντήσεων.
Το ChatGPT έχει βελτιστοποιηθεί από τους δημιουργούς του χρησιμοποιώντας έναν συνδυασμό μεθόδων Εποπτευόμενης Μάθησης και Ενίσχυσης Εκμάθησης, αλλά το τελευταίο είναι που το ξεχωρίζει. Το στοιχείο Ενισχυτικής Μάθησης διακρίνεται από τη χρήση μιας εξειδικευμένης τεχνικής γνωστής ως Ενισχυτική Μάθηση από Ανθρώπινη Ανατροφοδότηση (RLHF). Αυτή η προσέγγιση αξιοποιεί την ανθρώπινη ανατροφοδότηση εντός της εκπαιδευτικής διαδικασίας η οποία χρησιμοποιεί την ανθρώπινη ανάδραση στον βρόχο εκπαίδευσης για να ελαχιστοποιήσει τα επιβλαβή, αναληθή και/ή μεροληπτικά αποτελέσματα.
Το ChatGPT είναι χτισμένο πάνω από τα «Μοντέλο Μεγάλων Γλωσσών», «Transformer», «GPT» και «Ενίσχυση εκμάθησης».
2. Μεγάλα γλωσσικά μοντέλα (LLM)
Το μοντέλο LLM αποτελείται από ένα νευρωνικό δίκτυο με πολυάριθμες παραμέτρους (συνήθως δισεκατομμύρια βάρη ή περισσότερες) που εκπαιδεύτηκε χρησιμοποιώντας ένα σημαντικό ποσό χωρίς ετικέτα κειμένου και αυτοεποπτευόμενη μάθηση. Τα LLM χωνεύουν τεράστια δεδομένα κειμένου και συνάγουν σχέσεις μεταξύ λέξεων μέσα στο κείμενο. Η προεκπαίδευση περιλαμβάνει τα ακόλουθα βήματα:
2.1. Επόμενη συμβολική πρόβλεψη: Στο μοντέλο δίνεται μια ακολουθία λέξεων με στόχο να προβλέψει την επόμενη λέξη. Παράδειγμα: Η Heena είναι ένα _
Η Heena είναι ένα κορίτσι, η Heena είναι μια αδερφή, η Heena είναι μια μητέρα
2.2 Μοντελοποίηση μάσκας γλώσσας:Δίνεται στο μοντέλο μια ακολουθία λέξεων με στόχο να προβλέψει μια καλυμμένη λέξη στη μέση. Παράδειγμα: Η Heena [μάσκα] ταξιδεύει
Στην Heena αρέσουν τα ταξίδια, η Heena μισεί τα ταξίδια, η Heena απολαμβάνει τα ταξίδια
Παραδείγματα LLM θα μπορούσαν να είναι τα GPT (OpenAI), BERT (Google), T5 (Google) και Roberta (FB).
3. Αρχιτεκτονική Transformer Encoder-Decoder
Ο μετασχηματιστής χρησιμοποιεί αρχιτεκτονική κωδικοποιητή-αποκωδικοποιητή με μηχανισμούς προσοχής και έχει ένα άπειρο παράθυρο αναφοράς μνήμης για αναφορά, σε αντίθεση με τα RNN, LSTM και GRU, τα οποία έχουν μικρότερα μεγέθη παραθύρων αναφοράς. Είναι μια αρχιτεκτονική αλληλουχίας σε ακολουθία που παίρνει μια ακολουθία και βγάζει μια άλλη ακολουθία
3.1. Κωδικοποιητής:
Ο κωδικοποιητής παίρνει κάθε λέξη μιας ακολουθίας ταυτόχρονα και δημιουργεί μια αριθμητική αναπαράσταση (ονομάζεται επίσης χαρακτηριστικό ή διάνυσμα τανυστή) που περιέχει τιμές προσαρμοσμένες στα συμφραζόμενα για κάθε λέξη που χρησιμοποιείται ως είσοδος ταυτόχρονα, χρησιμοποιώντας τον μηχανισμό αυτοπροσοχής.
Οι κωδικοποιητές είναι ισχυροί στην εξαγωγή διανυσμάτων που μεταφέρουν σημαντικές πληροφορίες σε μια ακολουθία και μπορούν να χρησιμοποιηθούν ως αυτόνομα μοντέλα σε μια μεγάλη ποικιλία εργασιών όπως ταξινόμηση ακολουθιών (ανάλυση συναισθήματος), QnA, μοντέλα μάσκας γλώσσας (οι κωδικοποιητές με το αμφίδρομο περιβάλλον τους είναι καλοί στο να μαντεύουν λέξεις στη μέση μιας ακολουθίας) και κατανόηση φυσικής γλώσσας. Παραδείγματα μοντέλων κωδικοποιητών μόνο είναι τα BERT, ALBERT και RoBERTa.
3.2. Αποκωδικοποιητής:
Στην αρχιτεκτονική κωδικοποιητή-αποκωδικοποιητή του μετασχηματιστή, ο αποκωδικοποιητής παίρνει όλες τις λέξεις μιας ακολουθίας που δίνονται από τον κωδικοποιητή ταυτόχρονα και δημιουργεί μια ακολουθία λέξεων μία προς μία.
Όπως και οι κωδικοποιητές, οι αποκωδικοποιητές μπορούν επίσης να χρησιμοποιηθούν ως αυτόνομα μοντέλα. Ο αποκωδικοποιητής παίρνει μια ακολουθία λέξεων και βγάζει μια αριθμητική αναπαράσταση (χαρακτηριστικό/διάνυσμα τανυστή) για κάθε λέξη. Χρησιμοποιεί τον μηχανισμό Masked Self Attention, όπου οι λέξεις μπορούν να δουν μόνο τις λέξεις στην αριστερή τους πλευρά, ενώ η δεξιά πλευρά είναι κρυμμένη.
Λόγω αυτής της ιδιότητας των αποκωδικοποιητών, είναι καλοί στη δημιουργία κειμένου σε μια δεδομένη ακολουθία, αυτό ονομάζεται περιστασιακή μοντελοποίηση γλώσσας ή παραγωγή φυσικής γλώσσας. Παράδειγμα: GPT
4. Generative Pre-trained Transformer (GPT)
Το μοντέλο GPT έχει στοιβαγμένους αποκωδικοποιητές από τον μετασχηματιστή.
Οι διάφορες εκδόσεις του GPT περιλαμβάνουν:
GPT 1 (2018) → GPT 2(2019) → GPT 3(2020) → GPT4(2023, πολυτροπικό, έξι φορές μεγαλύτερο από το GPT-3, με ένα τρισεκατομμύριο παραμέτρους)
Το μοντέλο GPT εκπαιδεύεται σε δεδομένα Διαδικτύου, συμπεριλαμβανομένων βιβλίων, Wikipedia, ιστοτόπων και άρθρων.
5. Ενισχυτική Μάθηση
Το Chat-GPT βελτιώνεται περαιτέρω από το Reinforcement learning. Η ενισχυτική μάθηση είναι μια μέθοδος για την επίτευξη κάποιου στόχου μέσω ανταμοιβών.
Η ενισχυτική μάθηση είναι ένα υποπεδίο της τεχνητής νοημοσύνης που εστιάζει στο να δίνει τη δυνατότητα στις μηχανές να μαθαίνουν μέσω της αλληλεπίδρασης με το περιβάλλον τους. Στην ενισχυτική μάθηση, ένας πράκτορας αλληλεπιδρά με ένα περιβάλλον και μαθαίνει να λαμβάνει αποφάσεις που μεγιστοποιούν ένα σήμα ανταμοιβής.
Ο πράκτορας λαμβάνει ανατροφοδότηση με τη μορφή ανταμοιβών ή ποινών με βάση τις ενέργειές του και στόχος του είναι να μεγιστοποιήσει τη σωρευτική ανταμοιβή με την πάροδο του χρόνου. Ο πράκτορας μαθαίνει μέσω δοκιμής και λάθους, εξερευνώντας διαφορετικές ενέργειες και παρατηρώντας τις ανταμοιβές ή τις ποινές που προκύπτουν.
Οι αλγόριθμοι ενίσχυσης μάθησης χρησιμοποιούνται σε διάφορες εφαρμογές, όπως η ρομποτική, τα παιχνίδια και τα αυτόνομα συστήματα λήψης αποφάσεων. Συχνά χρησιμοποιούνται σε καταστάσεις όπου δεν υπάρχουν προϋπάρχοντα δεδομένα με ετικέτα και ο πράκτορας πρέπει να μάθει αλληλεπιδρώντας με το περιβάλλον.
6. Βήματα εκπαίδευσης ChatGPT
6.1. Εποπτευόμενη λεπτομέρεια: Η OpenAI προσέλαβε 40 εργολάβους για να δημιουργήσουν εποπτευόμενα σύνολα δεδομένων εκπαίδευσης (με 13 χιλιάδες εισόδους/εξόδους) και, με αυτό το σύνολο δεδομένων, να βελτιώσουν το μοντέλο GPT-3 για να αποκτήσουν το μοντέλο GPT 3.5 SFT. Για την πρόσφατη έκδοση ChatGPT που βασίζεται σε GPT4, βελτίωσαν το GPT3.5.
6.2. Μοντέλο ανταμοιβής:
Ο στόχος είναι να μάθουμε μια αντικειμενική συνάρτηση (το μοντέλο ανταμοιβής) απευθείας από τα δεδομένα. Ο σκοπός αυτής της λειτουργίας είναι να δώσει μια βαθμολογία στις εξόδους του μοντέλου SFT, ανάλογη με το πόσο επιθυμητές είναι αυτές οι έξοδοι για τον άνθρωπο. Στην πράξη, αυτό θα αντικατοπτρίζει έντονα τις συγκεκριμένες προτιμήσεις της επιλεγμένης ομάδας ανθρώπινων ετικετών και τις κοινές οδηγίες που συμφώνησαν να ακολουθήσουν. Στο τέλος, αυτή η διαδικασία θα εξαγάγει από τα δεδομένα ένα αυτόματο σύστημα που υποτίθεται ότι μιμείται τις ανθρώπινες προτιμήσεις.
Για να εκπαιδεύσει ένα μοντέλο ανταμοιβής, το μοντέλο λαμβάνει μια σειρά από προτροπές και απαντήσεις και το μοντέλο εξάγει μια τιμή κλιμάκωσης (που ονομάζεται ανταμοιβή). Αυτό γίνεται για τη μόχλευση της ενισχυτικής μάθησης, στην οποία ένα μοντέλο μαθαίνει να παράγει αποτελέσματα για να μεγιστοποιήσει την ανταμοιβή του. Τα βήματα είναι:
- Επιλέγεται μια λίστα προτροπών και το μοντέλο SFT δημιουργεί πολλαπλές εξόδους (οπουδήποτε μεταξύ 4 και 9) για κάθε προτροπή.
- Οι ετικέτες ταξινομούν τα αποτελέσματα από το καλύτερο στο χειρότερο. Το αποτέλεσμα είναι ένα νέο σύνολο δεδομένων με ετικέτα, όπου οι ταξινομήσεις είναι οι ετικέτες. Το μέγεθος αυτού του συνόλου δεδομένων είναι περίπου 10 φορές μεγαλύτερο από το επιμελημένο σύνολο δεδομένων που χρησιμοποιείται για το μοντέλο SFT.
- Αυτά τα νέα δεδομένα χρησιμοποιούνται για την εκπαίδευση ενός μοντέλου ανταμοιβής (RM). Αυτό το μοντέλο λαμβάνει ως είσοδο μερικές από τις εξόδους του μοντέλου SFT και τις κατατάσσει με σειρά προτίμησης.
6.3. Ενίσχυση εκμάθησης:Το μοντέλο παρουσιάζεται με μια τυχαία προτροπή και επιστρέφει μια απάντηση. Η απόκριση δημιουργείται χρησιμοποιώντας την «πολιτική» που έχει μάθει το μοντέλο στο βήμα 2. Η πολιτική αντιπροσωπεύει μια στρατηγική που το μηχάνημα έχει μάθει να χρησιμοποιεί για να επιτύχει τον στόχο του, σε αυτήν την περίπτωση, τη μεγιστοποίηση της ανταμοιβής του. Με βάση το μοντέλο ανταμοιβής που αναπτύχθηκε στο βήμα 2, προσδιορίζεται μια τιμή ανταμοιβής κλιμακωτή για το ζεύγος προτροπής και απόκρισης. Η ανταμοιβή στη συνέχεια ανατροφοδοτεί το μοντέλο για την εξέλιξη της πολιτικής.
Η Βελτιστοποίηση εγγύς πολιτικής (PPO), είναι η μέθοδος που χρησιμοποιείται για την ενημέρωση της πολιτικής του μοντέλου καθώς δημιουργείται κάθε απόκριση. Το PPO ενσωματώνει μια ποινή ανά διακριτικό Kullback–Leibler (KL) από το μοντέλο SFT. Η απόκλιση KL μετρά την ομοιότητα δύο συναρτήσεων κατανομής και τιμωρεί τις ακραίες αποστάσεις. Σε αυτήν την περίπτωση, η χρήση ποινής KL μειώνει την απόσταση που μπορούν να είναι οι αποκρίσεις από τις εξόδους του μοντέλου SFT που εκπαιδεύτηκαν στο βήμα 1 για να αποφευχθεί η υπερβολική βελτιστοποίηση του μοντέλου ανταμοιβής και η πολύ δραστική απόκλιση από το σύνολο δεδομένων ανθρώπινης πρόθεσης.
Συνοπτικά, παρακάτω είναι τα τρία βήματα της διαδικασίας εκπαίδευσης chatGPT:
- Βήμα Εποπτευόμενη λεπτομέρεια: ένα προεκπαιδευμένο μοντέλο γλώσσας ρυθμίζεται με ακρίβεια σε σχετικά μικρό όγκο δεδομένων επίδειξης που επιμελούνται οι εταιρείες ετικετών, για να μάθει μια εποπτευόμενη πολιτική (το μοντέλο SFT) που παράγει αποτελέσματα από επιλεγμένη λίστα προτροπών. Αυτό αντιπροσωπεύει το μοντέλο βάσης.
- Μοντέλο επιβράβευσηςβήμα: ζητείται από τους ετικετούς να ψηφίσουν σχετικά μεγάλο αριθμό εξόδων του μοντέλου SFT, δημιουργώντας με αυτόν τον τρόπο ένα νέο σύνολο δεδομένων που αποτελείται από δεδομένα σύγκρισης. Ένα νέο μοντέλο εκπαιδεύεται σε αυτό το σύνολο δεδομένων. Αυτό αναφέρεται ως μοντέλο ανταμοιβής (RM).
- Βήμα Ενίσχυσης εκμάθησης: το μοντέλο ανταμοιβής χρησιμοποιείται για περαιτέρω τελειοποίηση και βελτίωση του μοντέλου SFT. Το αποτέλεσμα αυτού του βήματος είναι το λεγόμενο μοντέλο πολιτικής.
Το βήμα 1 συμβαίνει μόνο μία φορά, τα βήματα 2 και 3 της διαδικασίας μπορούν να επαναληφθούν επανειλημμένα. Μετά από αυτό, το μοντέλο αξιολογείται με βάση τη χρησιμότητά του, την αλήθεια και την αβλαβή του.
7. Γιατί χρησιμοποιούμε αποκωδικοποιητές στο GPT;
Χρησιμοποιώντας αποκωδικοποιητές από την αρχιτεκτονική κωδικοποιητή-αποκωδικοποιητή μετασχηματιστή, μειώσαμε τους υπολογισμούς ενός παραδοσιακού μετασχηματιστή κωδικοποιητή-αποκωδικοποιητή σχεδόν στο μισό.
8. Αλλά γιατί χρησιμοποιούνται μόνο αποκωδικοποιητές και γιατί δεν χρησιμοποιούνται μόνο κωδικοποιητές στο GPT;
Ο λόγος που το GPT είναι μόνο αποκωδικοποιητές είναι ότι έχει σχεδιαστεί για αυτοπαλινδρομική μοντελοποίηση γλώσσας, όπου το μοντέλο δημιουργεί την ακολουθία εξόδου ένα διακριτικό τη φορά, υπό τον όρο της ακολουθίας εισόδου και των κουπονιών που δημιουργήθηκαν προηγουμένως. Σε αυτήν την εργασία, η ακολουθία εισόδου δίνεται στο μοντέλο και το μοντέλο δημιουργεί την ακολουθία εξόδου προβλέποντας το επόμενο διακριτικό με βάση τα προηγούμενα διακριτικά στην ακολουθία εξόδου.
Η χρήση μόνο μπλοκ αποκωδικοποιητή επιτρέπει στο μοντέλο να παρακολουθεί όλα τα κουπόνια που δημιουργήθηκαν προηγουμένως και την ακολουθία εισόδου να κάνει την επόμενη πρόβλεψη διακριτικού. Επιπλέον, δεδομένου ότι το GPT έχει σχεδιαστεί για μοντελοποίηση γλώσσας, δεν είναι απαραίτητο να υπάρχει κωδικοποιητής, καθώς η ακολουθία εισαγωγής είναι ήδη κείμενο φυσικής γλώσσας και δεν απαιτεί πρόσθετη επεξεργασία.
Έτσι, συνοπτικά, ο λόγος που το GPT είναι μόνο ένας αποκωδικοποιητής είναι ότι είναι βελτιστοποιημένο για εργασίες δημιουργίας κειμένου, όπου μια αρχιτεκτονική μόνο για αποκωδικοποιητή είναι επαρκής και επιτρέπει την πιο αποτελεσματική και αποτελεσματική παραγωγή συνεκτικών και κατάλληλων για τα συμφραζόμενα ακολουθίες λέξεων.
Εστιάζοντας στον αποκωδικοποιητή, το GPT μπορεί να δημιουργήσει κείμενο υψηλής ποιότητας που είναι ρέον, συνεκτικό και σημασιολογικά σημαντικό. Ωστόσο, δεν έχει τη δυνατότητα να κωδικοποιήσει ή να κατανοήσει το νόημα του κειμένου εισόδου, γεγονός που περιορίζει την εφαρμογή του σε εργασίες όπως η ταξινόμηση κειμένου, η ανάλυση συναισθήματος και η απάντηση ερωτήσεων, όπου τόσο η είσοδος όσο και η έξοδος οι ακολουθίες πρέπει να υποβληθούν σε επεξεργασία.
9. Ποια είναι η προτροπή στο ChatGPT;
Στο ChatGPT, μια προτροπή είναι μια είσοδος που παρέχεται από τον χρήστη που χρησιμοποιεί το μοντέλο γλώσσας για να δημιουργήσει μια απάντηση. Η προτροπή είναι συνήθως μια πρόταση ή μερικές λέξεις που δίνουν το πλαίσιο ή ένα σημείο εκκίνησης για το μοντέλο να δημιουργήσει μια απάντηση. Για παράδειγμα, εάν ένας χρήστης ρωτήσει, "Ποια είναι η πρωτεύουσα της Γαλλίας;" η προτροπή θα ήταν "Ποια είναι η πρωτεύουσα της Γαλλίας;"
Η προτροπή βοηθά το μοντέλο γλώσσας να κατανοήσει την πρόθεση του χρήστη και να δημιουργήσει μια απάντηση που είναι σχετική και ουσιαστική. Το ChatGPT χρησιμοποιεί την προτροπή για να ξεκινήσει τη διαδικασία δημιουργίας γλώσσας, όπου αναλύει το κείμενο και δημιουργεί μια απάντηση με βάση τις γνώσεις που έχει μάθει και την κατανόηση της φυσικής γλώσσας. Η προτροπή παίζει κρίσιμο ρόλο στη συνομιλία μεταξύ του χρήστη και του ChatGPT, καθώς ορίζει τον τόνο και την κατεύθυνση της συνομιλίας.
Το ChatGPT μπορεί να βελτιστοποιηθεί με συγκεκριμένες προτροπές για να αξιοποιήσετε στο έπακρο τις δυνατότητες γραφής τεχνητής νοημοσύνης. Αυτές οι προτροπές επιτρέπουν στους χρήστες να λαμβάνουν πιο ακριβείς και χρήσιμες απαντήσεις και να δομούν το περιεχόμενό τους πιο αποτελεσματικά. Για παράδειγμα:
9.1. Προτροπή επανεγγραφής: πληκτρολογήστε μια παράγραφο και το ChatGPT την ξαναγράφει με μοναδικό τρόπο
9.2. Επιστρέψτε μόνο την κύρια προτροπή απόκρισης: ζητά από το ChatGPT να συντομεύσει τη λεπτομερή απόκρισή του και να παράσχει μια συνοπτική απάντηση
9.3. Υπαγόρευση στυλ: ρυθμίστε το ChatGPT να επιστρέφει απαντήσεις σε συγκεκριμένο στυλ, όπως επίπεδο πέμπτης τάξης ή διδακτορικό επίπεδο, με σαφή και περίπλοκη γλώσσα και ορολογία.
9.4. Μορφοποιήστε το μήνυμα απάντησής σας: χρησιμοποιήστε Markdown, υποτίτλους, επικεφαλίδες, σημεία με κουκκίδες, έντονη γραφή κ.λπ., για να δομήσετε την απόκριση του ChatGPT και να αποφύγετε έναν τοίχο κειμένου.
10. Παράδειγμα Python για χρήση OpenAI API
Από την 1η Μαρτίου 2023, μπορούμε να βελτιστοποιήσουμε μόνο βασικά μοντέλα GPT-3. Επί του παρόντος, η καλύτερη επιλογή για τη βελτίωση του ChatGPT είναι η άμεση μηχανική.
Το OpenAI API είναι μια πλατφόρμα cloud που φιλοξενείται στο Azure της Microsoft και δίνει στους προγραμματιστές πρόσβαση σε προηγμένα, προεκπαιδευμένα μοντέλα τεχνητής νοημοσύνης. Με το API, οι προγραμματιστές μπορούν εύκολα να προσθέσουν δυνατότητες τεχνητής νοημοσύνης αιχμής στις εφαρμογές τους χρησιμοποιώντας μια ποικιλία γλωσσών προγραμματισμού.
Ακολουθούν τα βήματα για τη χρήση OpenAI API χρησιμοποιώντας κώδικα Python:
- Εγγραφείτε για λογαριασμό OpenAI API https://platform.openai.com/
- Λήψη κλειδιού API https://platform.openai.com/account/api-keys
- Εγκαταστήστε το OpenAI
pip install openai
ΤοOpenAI API παρέχει τρεις οικογένειες μοντέλων που διαφέρουν ως προς τις δυνατότητες και την τιμή:
GPT-3: χρησιμοποιείται για τη συμπλήρωση, την εισαγωγή και την επεξεργασία κειμένου
Κωδικός: επιτρέπει τη συμπλήρωση, την εισαγωγή και την επεξεργασία κώδικα
Φιλτράρισμα περιεχομένου: επιτρέπει το φιλτράρισμα απαράδεκτου περιεχομένου
Οι οικογένειες GPT-3 και Codex αποτελούνται από μοντέλα από τις σειρές Davinci, Curie, Babbage και Ada.
Ο Davinci είναι ο πιο ικανός και είναι ιδανικός για την κατανόηση σύνθετων προθέσεων, τον εντοπισμό αιτιακών σχέσεων και τη σύνοψη πληροφοριών για συγκεκριμένο κοινό. Το Davinci μπορεί να εκτελέσει σχεδόν κάθε εργασία με μεγαλύτερη ακρίβεια σε σύγκριση με άλλα μοντέλα.
Το μοντέλο Curie είναι αρκετά ικανό για ανάλυση συναισθήματος και ταξινόμηση κειμένου.
Τα μοντέλα Babbage και Ada είναι ιδανικά για απλές εργασίες που δεν απαιτούν πολύπλοκη λογική. Το Babbage και η Ada είναι επίσης τα πιο γρήγορα και τα φθηνότερα.
4. Μεταβείτε στο OpenAI API playground https://platform.openai.com/playground για να παίξετε με το κείμενο εισαγωγής για να δείτε την απόκριση εξόδου.
5. Δείτε τον κώδικα στην παιδική χαρά openAI επιλέγοντας γλώσσα python
import os
import openai
openai.api_key = os.getenv("OPENAI_API_KEY")
response = openai.Completion.create(
model="text-davinci-003",
prompt="Extract Entities from the text.\ntext: New Delhi is the capital of India.\nEntities: \nNew Delhi: City\nIndia: Country\n##\ntext: Sundar Puchai is the CEO of Google\nEntities:",
temperature=0,
max_tokens=256,
top_p=1,
frequency_penalty=0,
presence_penalty=0
)
11. Αναφορές
[1]. https://towardsdatascience.com/how-chatgpt-works-the-models-behind-the-bot-1ce5fca96286
[2]. https://arxiv.org/pdf/2203.02155.pdf
[3]. https://analyzingalpha.com/openai-api-python-tutorial
[4]. https://www.assemblyai.com/blog/how-chatgpt-actually-works/#shortcomings-of-the-methodology
