כיצד להשתמש במגרש המשחקים של OpenAI playground

ChatGPT הוא היכרות מהנה למודלים מאמונים (GPT) של שפה גדולה (LLM) של חברת OpenAI. אבל למרות שזה יכול להיראות חכם ושנון, באמת אין לכם הרבה מאוד שליטה על פלטי הטקסט שלו. אם תרצו לעשות יותר עם GPT (Generative Pre-trained Transformer), אתם צריכים לחפור קצת יותר לעומק.

אתם יכולים להשתמש במחוללי טקסט של חברות צד שלישי (כגון Jasper או KoalaWriter) כדי לגשת ל-API של OpenAI, אבל הם מגיעים עם חסרונות ומגבלות משלהם. לעתים קרובות הם יעילים ליצירת טקסט מורכב יותר מאשר ChatGPT, אבל הם מכוונים בעיקר לכתיבת תוכן שיווקי ומאמרי בלוג – בנוסף, הם יכולים להיות לעיתים יקרים. ועדיין לא תקבלו הרבה שליטה.

אם אתם באמת רוצים לראות מה GPT יכול לעשות, תצטרכו ״ללכלך את הידיים״ כמו שצריך ולשחק עם ה-API. כך, אתם באמת יכולים לשלוט בסוג הטקסט ש- GPT יכול ליצור. כך עושים זאת…

הערה: זהו מדריך יחסית מתקדם, המפרט כמה מהמאפיינים הטכניים יותר של GPT-3 ו-GPT-4. אני מניח שלכל מי שקורא את זה יש הבנה בסיסית של מה זה GPT וכיצד פועל המודל האחרון של כלי בינה מלאכותית. אם לא, עיינו במאמרים המקושרים הנ״ל כדי להתעדכן.

כיצד לגשת ל-GPT-3 ו-GPT-4

בעוד ש-ChatGPT היא הדרך הקלה ביותר לגשת למודלי GPT, חברת OpenAI מציעה גם אפליקציית אינטרנט (שהיא מכנה playground – מגרש משחקים) שנותנת לכם גישה ״מלאה״ ל-API באפליקציית אינטרנט נחמדה. כך זה נראה:

OpenAI playground - צ׳אט לוח בקרה

בזה אני אשתמש כדי להדגים דברים כאן, ושווה לבדוק אותו במידה ואתם חדשים בדברים מהסוג הזה. פשוט הירשמו לחשבון ב- OpenAI ואז פנו למגרש המשחקים של OpenAI.

Model

OpenAI playground - בחירת מודל model

במצב צ’אט, יש לכם בחירה בין כמה מודלים של GPT שונים. בזמן שאני כותב את המדריך, להלן מה שזמין:

GPT-4. זהו המודל האחרון והחזק ביותר. הוא מצויין עבור משימות מורכבות הדורשות הבנה עמוקה ויצירתיות. עם זאת, הוא היקר ביותר לתפעול, אז אולי כדאי להשתמש בו במשורה.

GPT-4-1106. גרסה ספציפית של מודל ה-GPT-4, השומרת על היכולות המתקדמות של GPT-4 אך עם פרמטרים או מאפיינים ייחודיים המצוינים באמצעות הכינוי “1106”.

GPT 3.5 Turbo. מודל זה מציע איזון מצוין בין ביצועים לעלות. הוא פחות חזק מ-GPT-4, אבל הוא גם זול משמעותית. והופך אותו לבחירה מצוינת עבור רוב המשימות, במיוחד אם אתם רק מתחילים או שעובדים עם תקציב מוגבל.

GPT-3.5-turbo-16k. אותם יכולות כמו GPT 3.5 Turbo רק עם פי ארבעה כמות ההקשרים (אם כי היא עולה פי שניים לשימוש).

GPT-3.5-turbo-1106. זוהי תצורה ספציפית של מודל GPT-3.5-Turbo, מותאם לזמני תגובה מהירים יותר. סביר להניח שה-“1106” מציין קבוצה מסוימת של פרמטרים או גרסה במסגרת GPT-3.5-turbo, המותאמת לביצועים יעילים ביישומים בזמן אמת.

אם אתם קוראים את זה בעוד כמה חודשים, התצורות והתאריכים הספציפיים במודלים השונים ישתנו, אבל הרעיון יישאר זהה. אלו תמונות סטטיות המאפשרות קצת עקביות כשאתם משתמשים ב-GPT.

GPT-4 זמין גם דרך ה-API ו-playground, אבל אתם צריכים חשבון OpenAI שביצע לפחות תשלום מוצלח אחד כדי להפעיל אותו (מנוי ChatGPT Plus לא נחשב!).

מבנה הנחיות

אחד ההבדלים הגדולים ביותר בין שימוש ב-ChatGPT לבין שימוש ב-API להשלמת צ’אט הוא אופן המבנה של ההנחיות. עם ChatGPT, אתם פשוט כותבים הודעה פשוטה. ניתן להוסיף הקשרים ככל שתרצו להודעה, אבל ChatGPT מתבסס רק על זה כדי להמשיך.

עם ה-API להשלמת צ’אט – באמצעות מצב הצ’אט של playground – תקבלו אפשרות נוספת. בזמן שאתם מגדירים הודעת משתמש, ניתן להגדיר ״תפקיד״ עבור GPT באמצעות תיבת ההודעה – System.

OpenAI playground - הודעת תיבת system

כברירת מחדל, בתיבת ה-System יהיה כתוב: ״you are a helpful assistant״, אבל אתם יכולים להשתמש בו כדי לשלוט בסוג התגובות שתקבלו. בצילום מסך מטה, תוכלו לראות מה קורה כשאני משתמש בו כדי להגיד ל-GPT להיות מצחיק.

OpenAI playground - הודעת תיבת system כדי לומר לו להיות מצחיק

או שתגידו לו להיות לא מועיל.

OpenAI playground - הודעת תיבת system כדי לומר לו להיות לא מועיל

לצורך ההדגמה בהמשך המאמר, אני אשאיר את הודעת המערכת לברירת המחדל שלה בתור ״עוזר מועיל״. אבל אם אתם באמת רוצים לשחק עם סוג הדברים ש-GPT יכול לעשות, זו אחת הדרכים המעניינות יותר שתוכלו לעשות זאת.

Temperature

כעת, לאחר שהבנו את הבסיס, בואו נחפור בכמה מהאפשרויות הטכניות יותר. ה-Temperature שולט באקראיות של הטקסט ש-GPT מייצר.

LLM (מודלי שפה גדול) מייצרים טקסט על סמך הדברים שהם נתקלו בנתוני ההכשרה שלהם: ככל שהוא נתקל לעתים קרובות יותר בביטוי או מושג מסוים, כך גדל הסיכוי לכלול אותו בטקסט שהוא יוצר. זו הסיבה ש-GPT מסוגל ליצור טקסט שנראה כה אנושי.

אך ללא מידה מסוימת של אקראיות נוספת, GPT יוכל להפיק רק תוצאות משעממות וצפויות לחלוטין. הוא פשוט יוסיף את מילת ההמשך הסבירה ביותר לכל משפט נתון, והתוצאות שלו יהיו בלתי שמישות. זו הסיבה שמדד ה-Temperature קיים.

עם GPT, אתם יכולים להגדיר את טווח ה-Temperature בין 0 ל-2 (ברירת המחדל היא 1).

ב-0, התוצאות משעממות והחלטיות: אותה הנחיה תיתן לכם תוצאות כמעט זהות.

כשמד ה-Temperature מוגדר לברירת המחדל של 1, תקבלו קצת אקראיות אבל שום דבר פרוע מדי. GPT יגיב על אותה הנחיה בשתי דרכים שונות – אם כי שתיהן קוהרנטיות לחלוטין.

לבסוף, מה קורה כשאנחנו מעלים את ה״טמפרטורה״ ל-2.

כאוס מוחלט. GPT בסופו של דבר מאבד את זמן העיבוד של עצמו ופשוט מתחיל לירוק ג’יבריש.

אז מה כל זה אומר? אם אתם משתמשים ב-GPT, שחקו עם מד ״הטמפרטורה״ כדי לשלוט ברמת הצפי של התוצאות, אבל אל תצפו שהם יגיבו טוב אם תדחפו אותו לקצוות.

Maximum length (אורך מקסימלי)

OpenAI playground - חישוב טוקנים ותווים ב-gpt

GPT מפרק טקסט לנתחים הנקראים טוקנים. בממוצע, כל טוקן ממפה כארבעה תווים של טקסט, אם כי לרוב הם מילים שלמות. עם ה-API, הפרמטר Maximum length קובע את המספר המרבי של טוקנים של פלט. עם GPT-3.5, המקסימום המותר הוא 2048 או כ-1,500 מילים.

הערה: OpenAI קובעת את התשלום בהתבסס על שימוש בטוקנים. למרות שהם די זולים, אם תתרגלו לייצר תפוקות ארוכות עם מודלים חזקים יותר, העלויות עלולות להצטבר.

Stop sequences

Stop sequences (רצפי עצירה) משמשים כדי לומר למודל מתי להפסיק לייצר פלט. הם מאפשרים לכם לשלוט באופן מרומז באורך התוכן שאתם יוצרים.

לדוגמה, אם תרצו רק תשובה של משפט אחד לשאלה, אתם יכולים להשתמש ב . (נקודה) בתור רצף העצירה. לחלופין, לתשובה של פסקה אחת, אתם יכולים להשתמש בשורה חדשה בתור רצף העצירה.

OpenAI playground - שימוש ב-Stop sequences (רצפי עצירה)

למרות שכנראה לא תצטרכו להשתמש ב-Stop sequences כל כך הרבה, הם שימושיים במידה ואתם מנסים ליצור דיאלוג, שאלות ותשובות או כל סוג אחר של פורמט מובנה.

Top P

Top P היא דרך נוספת לשלוט עד כמה התפוקה של GPT צפויה. בעוד שה-Temperature קובעת באיזו אקראיות המודל בוחר מרשימת המילים האפשריות, Top P קובע כמה ארוכה רשימה האקראיות תהיה.

נניח שהטקסט הראשוני הוא “דני קושמרו הוא…” GPT יקצה הסתברות וידרג את כל הטוקנים האפשריים איתם הוא יכול להמשיך מכאן. נניח שהתפלגות נראית בערך כך:

  • 40%: “עיתונאי”
  • 20%: “אישיות טלוויזיה”
  • 20%: “פרשן”
  • 10%: “ישראלי”
  • 5%: “מצחיק”
  • 4%: “שנון”
  • 1%: “אמיץ”

למרות שסביר להניח שהוא ישתמש בעיתונאי, אישיות טלוויזיה או פרשן, חלק מהזמן הוא יכול להכריז “דני קושמרו הוא אמיץ”.

עם פרמטר P Top שנקבע ב- 1, GPT יכלול כל המילים האפשריות – אפילו אלו שאינן סבירות. ככל שתקרבו אותו ל-0, יותר ויותר אפשרויות נמחקות. בהתאמה, כאשר P Top מוגדר ל-0, הוא מחזיר את אותן תוצאות בדיוק כמו קביעת ה-Temperature ל-0.

כמובן, המתמטיקה והפרטים שבבסיס המודל הם הרבה יותר מורכבים. GPT מחשב הרבה יותר משבעה טוקנים ברוב המקרים, ומכיוון ש-Top P שוקל אפשרויות לפי הסבירות שלהן, כיוונון הפרמטר ל-0.9 לא רק מסיר 10% מהמילות הפחות בסירות – אלא כנראה יסיר את כל האפשרויות האקראיות יותר.

למען האמת, הדרך הפשוטה ביותר לקבל תחושה אמיתית היא לנסות בעצמכם כמה הנחיות ולשחק עם זה.

Frequency penalty ו- Presence penalty

GPT עושה הרבה מתחת מתחת לפני השטח כדי לוודא שהוא לא מייצר את אותו טקסט שוב ושוב. אחת הדרכים שבהן LLM עושים זאת היא על ידי ״ענישה אוטומטית״ של טוקנים שכבר נעשה בהם שימוש. לדוגמה, אם הוא כבר השתמש בשורה “דני קושמרו הוא עיתונאי”, סביר להניח שבפעם הבאה הוא יאמר “דני קושמרו הוא אישיות טלוויזיה” – ואף יותר סביר שיאמר “דני הוא אישיות טלוויזיה”.

עם ב-API של GPT, תקבלו שליטה על שני פרמטרים אלו ל״ענישה״: Frequency penalty (הענשת תדירות) ו-Presence penalty (הענשת נוכחות). כברירת מחדל שניהם קבועים על 0 ויש להם ערך מקסימלי של 2.

Frequency penalty – הענשת תדירות מעניש טוקנים על סמך כמות הפעמים שהם כבר הופיעו בטקסט. ככל שהם מופיעים יותר פעמים, כך הם נענשים יותר. OpenAI מציינים שזה מקטין את הסבירות שהפלט יחזור על עצמו מילה במילה.

Presence penalty – הענשת נוכחות, מעניש טוקנים על סמך השאלה – האם הם כבר הופיעו בטקסט. זהו עונש קבוע שלדברי OpenAI מעודד את הפלט לעבור לנושאים חדשים.

שחקו עם GPT

כמו בכל כלי מורכב וחזק, קריאת מאמרים על אופן השימוש בפרמטרים של ה-API GPT תמלא את הצד התיאורטי של התמונה. אם אתם באמת רוצים להבין מה עושים הפרמטרים השונים, גשו למגרש המשחקים ונסו את אותן הנחיות עם ערכים שונים עבור האפשרויות השונות. מרתק לראות עד כמה התוצאה יכולה להיות שונה.

גילוי נאות:

תוכן המאמר נכתב לאחר מאמץ ומחקר על מנת לספק את התוכן האמין ביותר שניתן. כמו כן התוכן מתייחס למידע שקיים בעת שעודכן לאחרונה בתאריך: 11/12/2023, ולכן עשויים להיות שינויים ואי התאמות שחלו מאז.
כמו כן, כל המאמרים המסקרים מוצרים או שירותים כלשהם הינם מוצרים שרכשתי והתנסתי בהם בעצמי. בחלק מהמקרים אני אקשר לאתרי המוצרים באמצעות קישור שיתופי (Affiliate), שיתוף פעולה זה מאפשר לי לעיתים לספק לכם הגולשים הטבות מיוחדות ובתמורה אני מתוגמל באופן חלקי ואינו משפיע על העלות הסופית.
תודה על שיתוף הפעולה. ומקווה שהפקתם את המיטב מקריאה זו.

הגדילו את התנועה האורגנית שלכם עם SurferSEO
Jasper ai - ניסיון חינם

אולי יעניין אותך לקרוא…