מה זה GPT?

מסתבר של-AI יש בעיית מיתוג. אפילו ל”בינה מלאכותית” אין באמת הגדרה שימושית, אחת כמה וכמה כשמדובר בדקויות כמו שמות של חברות, מודלים ואפליקציות ספציפיות.

לדוגמה: הרבה אנשים מדברים על OpenAI, ChatGPT ו-GPT כאילו הם אותו הדבר (הם לא).

  • OpenAI היא חברת מחקר של בינה מלאכותית.
  • GPT היא משפחה של מודלי AI שנבנו על ידי OpenAI.
  • ChatGPT הוא צ’אט בוט שמשתמש במודל ה-GPT.

במדריך זה אני אתמקד ב-GPT.

מה זה GPT?

GPT היא משפחה של מודלי AI שנבנו על ידי חברת OpenAI. המילה GPT, היא קיצור של Generative Pre-trained Transformer, שזה בעצם תיאור של מה שעושים מודלים של הבינה המלאכותית ואיך הם עובדים (אני אחפור על זה עוד רגע).

מודל ה-GPT האחרון, GPT-4, הוא הדור הרביעי, אם כי גרסאות שונות של GPT-3 עדיין נמצאות בשימוש נרחב.

בעוד שאני אשתמש לעתים קרובות ב-ChatGPT כדוגמה במדריך זה, חשוב לזכור ש-GPT הוא יותר מסתם ChatGPT – זוהי משפחה שלמה של מודלים של שפה גדולה (LLMs).

אינפוגרפיקה המציגה את ההבדלים בין ChatGPT ל-GPT

מה GPT עושה?

מודלים של GPT נועדו ליצור טקסט דמוי אדם בתגובה להנחיה. במקור, הנחיות אלו היו צריכות להיות מבוססות טקסט, אך הגרסאות האחרונות של GPT יכולות לעבוד גם עם תמונות.

וזה מאפשר לכלים מבוססי GPT לעשות דברים כמו:

  • לענות על שאלות בצורה של דיאלוג אנושי
  • יצירת מאמרים בבלוג וסוגים אחרים של תוכן קצר וארוך
  • עריכת תוכן לשינוי טון הדיבור, סגנון ודקדוק
  • סיכום קטעים ארוכים של טקסט
  • תירגום טקסט לשפות שונות
  • סיעור מוחות

וזה רק קצה הקרחון של LLM.

דוגמאות לכלים המשתמשים ב-GPT

כפי שתוכלו לדמיין, GPT משמש במגוון רחב של יישומים שונים. המוכר ביותר הוא ChatGPT, הצ’אטבוט של OpenAI, שמשתמש בגרסה מותאמת אישית של GPT לצורך דיאלוג ושיחה.

להלן כמה מקומות נוספים שבהם GPT עובד מאחורי הקלעים:

  • מוצרי מיקרוסופט. מנוע החיפוש של בינג ו-Microsoft 365 Copilot (כל תכונות הבינה המלאכותית שמיקרוסופט מוסיפה ל-Word, Excel ויישומי Office האחרים שלה) פועלות עם מודל GPT ברקע.
  • Jasper AI היא אפליקציה המופעלת בין היתר על ידי GPT שנועדה לעזור לאנשים לכתוב מאמרים, סיפורים, שיווק ומכירות ומכלול יישומים לעסק. למעשה, רוב מחוללי כתיבה בינה מלאכותית משתמשים ב-GPT כאחד ממודלי ה-AI המפעילים אותם.
  • GitHub Copilot משתמש בגרסה של GPT-4 בשם Codex, שנועדה ליצור קוד מחשב, כדי לעזור למפתחים לעבוד מהר יותר ולהפוך משימות שחוזרות על עצמן לאוטומטיות.
  • Zapier משתמשת ב-GPT ברקע עבור הרבה מיכולות הבינה המלאכותית שלה, כולל בונה הצ’אטבוט AI. וגם מציע אינטגרציה עם OpenAI, שמתחברת ל-GPT ולמודלי OpenAI אחרים כמו DALL·E.
  • Duolingo היא אפליקציה ללימוד שפה המאפשרת לכם לנהל שיחה עם צ’אט בוט המופעל על ידי GPT בשפת היעד שלכם.

בקיצור, אם תחשבו על מצב שבו יצירת טקסט באיכות גבוהה דמוי אדם יוכל לעזור, סביר להניח שניתן להפעיל את GPT כדי לעשות זאת – וכנראה שזה כבר קיים.

איך הגענו ל-GPT?

באמצע העשור הקודם, מודלי הבינה המלאכותית בעלי הביצועים הטובים ביותר הסתמכו על נתונים מסומנים ידנית, כמו מסד נתונים עם תמונות של בעלי חיים שונים בשילוב עם תיאור טקסט של כל חיה שנכתבה על ידי בני אדם. זה היה תהליך שנקרא “למידה מפוקחת”, והוא שימש לפיתוח האלגוריתמים הבסיסיים של המודלים.

בעוד שלמידה מפוקחת יכולה להיות יעילה בנסיבות מסוימות, מערכי האימון יקרים מאוד להפקה. אפילו עכשיו, אין כל כך הרבה מידע מתוייג ומסווג כדי לשמש לאימון מודלי LLMs.

הדברים השתנו עם BERT, ה-LLM של גוגל שהוצג ב-2018. הוא השתמש במודל טרנספורמרים – שהוצע לראשונה במאמר מחקר משנת 2017 – מה שפישט באופן מהותי את אופן עיצובו של אלגוריתמי AI. היא מאפשרת ביצוע מקביל לחישובים (עשייה בו-זמנית), כלומר זמני אימון מופחתים משמעותית, ומקל על הדרכה של מודלים על נתונים לא מובנים. לא רק שזה הפך את מודלי הבינה המלאכותית לטובים יותר; זה גם הפך אותם למהירים וזולים יותר לייצור.

משם, הגרסה הראשונה של GPT תועדה במאמר שפורסם ב-2018, ו-GPT-2 שוחרר בשנה שלאחר מכן. מודל זה היה מסוגל ליצור כמה משפטים בכל פעם לפני שהדברים נעשו מוזרים. בעוד ששניהם ייצגו התקדמות משמעותית בתחום חקר הבינה המלאכותית, אף אחד מהם לא היה מתאים לשימוש בקנה מידה גדול בעולם האמיתי. כל זה השתנה עם ההשקה של GPT-3 בשנת 2020. אמנם לקח זמן – אך מאז ההשקה של ChatGPT – הוא סוף סוף המריא באמת, זה היה ה-LLM השימושי הנפוץ הראשון באמת.

וזו הסיבה ש-GPT הוא השם הגדול ב-LLMs כרגע. הוא בהחלט לא מודל השפה הגדול היחיד שקיים, לגוגל יש את PaLM, פייסבוק הוציאה לאחרונה את Lama, ויש עוד המון אפשרויות למשימות ספציפיות, כמו Cloud של אנתרופיק. אבל GPT היה ה-API האפקטיבי הראשון בתחום הבינה המלאכותית, שמפתחים יכלו להשתמש בו כדי להפעיל את האפליקציות שלהם.

שם החברהLLMצ׳אט בוט
OpenAIGPT-3.5, GPT-4ChatGPT
GooglePaLm 2Bard
AnthropicClaude 2Claude
MetaLlama 2כרגע סגור לשימוש חופשי

אפליקציות AI גדולות כמו Jasper הסתמכו בתחילה רק על GPT, אך כעת משולבים עם מודלי AI נוספים. אבל עבור רוב המפתחים הקטנים יותר, השימוש ב-GPT בלבד ממשיכה להיות האפשרות הפשוטה ביותר. ככל שהדברים יהפכו תחרותיים יותר בשנים הקרובות, זה צפוי להשתנות. אבל לעת עתה, GPT היא האפשרות הפופולרית ביותר בשוק.

איך עובד GPT?

GPT = “מודל טרנספורמר מאומן מראש” הוא למעשה רק תיאור של מה שעושה משפחת המודלים של GPT, איך הם עוצבו ואיך הם עובדים.

אני הולך להשתמש ב-GPT-3 כדוגמה כי זה הדגם שיש לנו הכי הרבה מידע עליו. (למרבה הצער, OpenAI הפכה הרבה יותר חשאית לגבי התהליכים שלה עם השנים).

GPT-3 הוכשר מראש על כמויות אדירות של נתונים לא מסווגים. המודל הוזן על ידי כל האינטרנט הפתוח ולאחר מכן נאלץ ליצור את כל החיבורים והקישורים שלו. טכניקה זו נקראת למידה עמוקה, והיא חלק בסיסי בלמידת מכונה, וכך מפותחים רוב כלי הבינה המלאכותית המודרניים.

חשוב לזכור ש-GPT לא מבין טקסט בדיוק כמו בני אדם. במקום מילים, מודלים של AI מפרקים טקסט לטוקנים. מילים רבות ממופות לטוקנים בודדים, אם כי מילים ארוכות או מורכבות יותר לרוב מתפרקות למספר טוקנים. GPT-3 אומן על כ-500 מיליארד טוקנים.

כל האימון הזה משמש ליצירת אלגוריתם מורכב, רב-שכבתי, משוקלל, שעוצב על פי מודל המוח האנושי, הנקרא רשת עצבית למידה עמוקה. זה מה שמאפשר ל-GPT-3 להבין דפוסים ויחסים בנתוני הטקסט ולהיעזר ביכולת ליצור תגובות דמויות אדם. לרשת העצבית של GPT-3 יש 175 מיליארד פרמטרים (או משתנים) המאפשרים לה לקבל קלט – ההנחיה שלכם – ולאחר מכן, בהתבסס על הערכים והשקלולים שהיא נותנת לפרמטרים השונים (וכמות קטנה של אקראיות), מפיקה כל מה שמתבקש.

הרשת של GPT משתמשת בארכיטקטורת טרנספורמרים (transformer) – זה ה-“T” ב-GPT. בליבת הטרספורמרים נמצא תהליך הנקרא “self-attention”. רשתות עצביות חוזרות ונשנות (RNNs – recurrent neural networks) קוראות טקסט משמאל לימין. רשתות מבוססות טרספורמרים, לעומת זאת, קוראות כל טוקן במשפט בו-זמנית ומשווים כל טוקן לכל האחרים. זה מאפשר להם להפנות את “תשומת הלב” שלהם לטוקנים הרלוונטיים ביותר, לא משנה היכן הם נמצאים בטקסט.

כמובן, כל המתאור כאן היא דרך מפושטת להסבר התהליך. GPT לא באמת יכול להבין. במקום זאת, כל טוקן מקודד כווקטור (מספר עם מיקום וכיוון). ככל ששני וקטורי טוקן קרובים יותר זה לזה, כך GPT חושב שהם רלוונטיים יותר. זו הסיבה שהיא מסוגלת לעבד את ההבדל בין: כדור אדום, לירות כדור בנשק ומסייבים כדוריים. בעוד שכולם משתמשים במחרוזת האותיות “כדור”, היא מקודדת בצורה כזו שהרשת העצבית יכולה לדעת מהקשר מה המשמעות שסביר להניח שהיא רלוונטית.

זה הרבה, אני יודע, וזו רק סקירה כללית בסיסית. לפרטים נוספים על אופן הפעולה של AI, LLMs ו-GPT, קראו את המאמרים הבאים:

האם GPT בטוח?

בהתחשב בכך ש-GPT מאומן על האינטרנט הפתוח, כולל הרבה תוכן רעיל, מזיק ופשוט שגוי, OpenAI השקיעה עבודה רבה כדי להפוך אותו לבטוח ככל האפשר לשימוש של כלל הציבור.

OpenAI מכנה את התהליך “alignment“. הרעיון הוא שמערכות בינה מלאכותית צריכות ליישר קו עם ערכים אנושיים ולעקוב אחר כוונות אנושיות, לא לעשות את שלהן ולהיות נוכלות. חלק גדול מזה הוא תהליך שנקרא למידה של חיזוק עם משוב אנושי (RLHF).

היסודות של זה הם שמאמני בינה מלאכותית ב-OpenAI יצרו נתוני הדגמה המראים ל-GPT כיצד להגיב להנחיות אופייניות. מתוך כך, הם בנו מודל תגמול בינה מלאכותית עם נתוני השוואה. תגובות מודל מרובות מדורגות, כך שה-AI יכול ללמוד מהן תגובות מתאימות או לא מתאימות במצבים נתונים. לאחר מכן ה-AI הוכשר באמצעות מודל התגמול וכוונן עדין כדי לתת תגובות מועילות. (כך גם בוצע אופטימיזציה של ChatGPT כדי להגיב לדיאלוג.)

אף על פי שאף מערכת אינה מושלמת, OpenAI עשתה עבודה טובה מאוד כדי להפוך את GPT למועיל ולא מזיק ככל האפשר – לפחות כאשר אנשים לא מנסים באופן אקטיבי לעקוף את מעקות הבטיחות שלה.

איך להתנסות עם GPT בעצמכם

שוב, GPT מתחבא בכל מיני אפליקציות, אבל הנה כמה דרכים להשתמש בו עכשיו:

ChatGPT. הדרך הפשוטה ביותר לנסות את GPT היא באמצעות ChatGPT. למרות שזה רק יישום אחד של GPT, זו דרך מצוינת לחקור מה המודל יכול לעשות ומה לא.

מגרש המשחקים – OpenAI playground. אם תרצו להציץ מאחורי ״מכסה המנוע״ עוד קצת, נסו את מגרש המשחקים של OpenAI, שבו אתם יכולים לשחק עם כל מיני הגדרות.

מחוללי כתיבה בינה מלאכותית. רוב מחוללי טקסט AI משתמשים ב-GPT מאחורי הקלעים (חלקם פחות שקופים לגבי זה מאחרים). כלים אלה נועדו ליצור טקסט ארוך יותר (בדרך כלל עבור יוצרי תוכן) במקום להגיב כמו צ’אט בוט.

כלי עזרה ופרודוקטיביות מבוססי AI. כל מיני כלים לפרודוקטיביות, החל מעוזרי פגישות בינה מלאכותית וכלים לרישום הערות, משתמשים ב-GPT, כך שאם יש קטגוריה של אפליקציה שבה אתם משתמשים הרבה, בצעו חיפוש כדי לראות האם לאפליקציות כלשהי בקטגוריה יש תכונות המופעלות על ידי GPT.

ביחרו את המסלול שנראה לכם הכי קל – או מהנה ביותר – ותרגישו במהירות את הכוח של GPT.

המשך קריאה בנושא:

או שפשוט כנסו לקטגורית המאמרים המלאה שלנו על ChatGPT

גילוי נאות:

תוכן המאמר נכתב לאחר מאמץ ומחקר על מנת לספק את התוכן האמין ביותר שניתן. כמו כן התוכן מתייחס למידע שקיים בעת שעודכן לאחרונה בתאריך: 13/12/2023, ולכן עשויים להיות שינויים ואי התאמות שחלו מאז.
כמו כן, כל המאמרים המסקרים מוצרים או שירותים כלשהם הינם מוצרים שרכשתי והתנסתי בהם בעצמי. בחלק מהמקרים אני אקשר לאתרי המוצרים באמצעות קישור שיתופי (Affiliate), שיתוף פעולה זה מאפשר לי לעיתים לספק לכם הגולשים הטבות מיוחדות ובתמורה אני מתוגמל באופן חלקי ואינו משפיע על העלות הסופית.
תודה על שיתוף הפעולה. ומקווה שהפקתם את המיטב מקריאה זו.

הגדילו את התנועה האורגנית שלכם עם SurferSEO
Jasper ai - ניסיון חינם

אולי יעניין אותך לקרוא…