איך ChatGPT עובד?

ChatGPT הוא אחד השמות המוכרים בעולם הבינה המלאכותית בשנים האחרונות, אבל זה לא מפתיע שהרבה אנשים עדיין לא בטוחים איך זה בכלל עובד. אם לא הייתי כותב על זה כל כך הרבה, כנראה שגם אני לא הייתי יודע. אז בואו נגלול קצת אחורה: כדי להבין איך צאט גיפיטי עובד, אנחנו צריכים להתחיל להסביר על מנוע השפה הבסיסי שמפעיל אותו.

החלק GPT בשם ChatGPT הוא ראשי תיבות של Generative Pre-trained Transformer. הוא מורכב ממשפחה של מודלי AI, הכוללים את GPT-4, GPT-4o, ולאחרונה, GPT-4o mini. גרסאות GPT-4o מעט שונות מכיוון שהם מולטי-מודאליים, מה שאומר שהם יכולים לעבוד עם טקסט, תמונות ואודיו – אבל נגיע לזה בהמשך.

מודלי ה-GPT פותחו על ידי OpenAI (החברה שמאחורי ChatGPT ומחולל התמונות DALL·E 3), אבל הם מפעילים הכל, החל מתכונות הבינה המלאכותית של Copilot ועד לכלים לכתיבה כמו Jasper ו-Copy.ai. למעשה, רבים ממחוללי טקסט AI הזמינים כרגע משתמשים ב-GPT, כמו גם במודלים דומים מחברות אחרות.

ChatGPT הביא את GPT לאור הזרקורים מכיוון שהוא הפך את תהליך האינטראקציה עם מחולל טקסט בינה מלאכותית לפשוטה, והכי חשוב – בחינם לכולם. בנוסף, הממשק הוא צ’אט בוט, ואנשים תמיד אהבו צ’אטים, עוד מאז SmarterChild.

בעוד ש-GPT הוא מודל השפה הגדול (LLM) הבולט ביותר כרגע, יש לו עכשיו הרבה מתחרים. לגוגל יש את מודלי ה-Gemini ואת הצ’אטבוט שלו; לאנתרופיק יש את קלוד; ל- Meta יש את Llama 3, שמניע את הצ’אטבוט שלו Meta AI. וזה עוד לפני שאתם צוללים לתוך המודלים הייעודיים לחברות גדולות, כמו Writer’s Palmyra LLMs, או מודלים פתוחים כמו Mixtral 8x22B. ובכל זאת, לפחות לעת עתה, המוצרים של OpenAI הם עדיין המבוקשים ביותר היום והם הסטנדרט בתעשייה דה פקטו.

אז התשובה ל”איך ChatGPT עובד?” הוא בעצם: GPT. אבל בואו נחפור קצת יותר לעומק.

מה זה צאט גיפיטי (ChatGPT) ?

ChatGPT הוא יישום שנבנה על ידי OpenAI. באמצעות המודלים של GPT AI, הוא יכול לענות על השאלות שלכם, לכתוב תוכן מלא, ליצור תמונות, לנסח מיילים, לנהל שיחה, לחשוב על רעיונות, להסביר קוד בשפות תכנות שונות, לתרגם שפה טבעית ועוד – או לפחות לנסות – הכל מבוסס על הנחיות השפה הטבעיות שאתם מספקים לו. בגדול זה צ’טבוט, אבל ממש ממש טוב.

הגרסה האחרונה של ChatGPT היא גם מולטי-מודאלית, בהנחה שאתם משתמשים במודלי GPT-4o לפחות. בנוסף להנחיות טקסט, הוא יכול להגיב לתמונות ולשמע. זה פותח מגוון רחב של שימושים בעולם האמיתי, כמו תרגום שיחה בזמן אמת או לעזור לכם לזהות מנה במסעדה רק מתוך תמונה.

הערה: GPT-4o mini עדיין לא יכול בכל אפשרויות השמע כמו GPT-4o – למשל, וידאו ואודיו – אבל OpenAI אומרת שהיא מתכננת להפיץ עדכון בקרוב.

מאז שהושק בסוף 2022, ChatGPT נעשה הרבה יותר חזק ושימושי. הוא יכול לחפש באינטרנט כדי למצוא תשובות להנחיות שלכם, ליצור אינטראקציה עם אפליקציות אחרות באמצעות GPTs מותאמים אישית (מה ש-OpenAI מכנה תבנית ההרחבה שלה), וליצור תמונות באמצעות מודל התמונה DALL·E 3.

כמובן, ChatGPT היא גם דרך עבור OpenAI לקבל הרבה נתונים מהעולם האמיתי על ביצועי המודלים שלה ממשתמשים בפועל ומשמשת כהדגמה מפוארת לעוצמת ה-GPT, שאחרת יכולה להרגיש מעט לא ברורה אלא אם כן הייתם עמוק בתוך מחקר למידת מכונה.

אחת התכונות הגדולות ביותר של ChatGPT היא שהוא יכול לזכור את כל ההקשר מהשיחה שאתם מנהלים איתו. אם תספרו לו משהו בהנחיה הראשונית שלכם, הוא יכול לזכור אותו בהמשך השיחה. אתם יכולים גם לבקש ממנו לעבד דברים מחדש ולתקן טעויות. זה גורם לאינטראקציה עם ה-AI להרגיש כמו דיאלוג אמיתי.

אם אתם באמת רוצים להרגיש איך זה, אני מציע שתקדישו כמה דקות לקרוא איך להשתמש ב-ChatGPT (זה בחינם!), ואז תחזרו לקרוא איך זה עובד.

איך ChatGPT עובד?

מערך הנתונים העצום הזה שימש ליצירת רשת עצבית ללמידה עמוקה […] במודל שמדמה את המוח האנושי – שאפשרה ל-ChatGPT ללמוד דפוסים ויחסים בנתוני הטקסט […] ולחזות איזה טקסט צריך לבוא אחר כך בכל משפט נתון .

ChatGPT פועל בכך שהוא מנסה להבין את ההנחיה שלכם ולאחר מכן לספק מחרוזות של מילים שהוא חוזה שיענה בצורה הטובה ביותר על השאלה שלכם, בהתבסס על הנתונים שעליהם הוא הוכשר. למרות שזה אולי נשמע פשוט יחסית, זה רק מתמצת בפשטות את המורכבות האמיתי של מה שקורה מתחת למכסה המנוע.

למידה מפוקחת לעומת למידה לא מפוקחת

בואו נעמיק בהבנה של אימון והדרכת מודל הבינה המלאכותית הזה. ה-P ב-GPT מייצג “pre-trained”, וזה חלק סופר חשוב ביכולת של GPT לעשות את מה שהוא מסוגל לעשות.

לפני ש-GPT היה קיים, מודלי הבינה המלאכותית עם הביצועים הטובים ביותר השתמשו ב”למידה מפוקחת” כדי לפתח את האלגוריתמים הבסיסיים שלהם. הם אומנו עם נתונים שסומנו באופן ידני, כמו למשל מסד נתונים עם תמונות של בעלי חיים שונים בשילוב עם תיאור טקסט של כל חיה וזה נעשה ידנית על ידי בני אדם. נתונים מסוג זה של אימון, למרות שהם יעילים בנסיבות מסוימות, הם יקרים ביותר להפקה ודורשים זמן רב מאוד. אפילו עכשיו, פשוט אין מספיק נתונים מסוג זה שיכולים לשמש לאימון LLMs.

במקום זאת, GPT השתמשה בהכשרה מקדימה גנרטיבית, שבה היא קיבלה כמה כללי יסוד ולאחר מכן הזינה כמויות אדירות של נתונים ללא סימון ידני – כמעט מספיק לסרוק את כל האינטרנט הפתוח. לאחר מכן נותר GPT לעבור על כל הנתונים הללנו “ללא פיקוח” ולפתח הבנה משלו לגבי הכללים והיחסים השולטים בטקסט.

GPT-4o אומן לכאורה באותו אופן, אם כי בנוסף לטקסט, נתוני האימון שלו כללו גם תמונות ואודיו. כך הוא יכול ללמוד לא רק מה זה תפוח, אלא גם איך הוא נראה.

כמובן, שלא באמת ידוע מה נקבל כשמשתמשים בלמידה ללא פיקוח, לכן GPT גם “מכוונן” כדי להפוך את ההתנהגות שלו לצפויה יותר והולמת יותר. ישנן כמה דרכים לעשות זאת (שאליהן אגיע), אך לעתים קרובות היא משתמשת בצורות של למידה מפוקחת.

ארכיטקטורת טרנספורמרים (Transformer architecture)

כל ההכשרה הזו נועדה ליצור רשת עצבית של למידה עמוקה – אלגוריתם מורכב, רב-שכבתי ומשוקלל שעוצב על פי המוח האנושי – שאיפשר ל-ChatGPT ללמוד דפוסים ויחסים בנתוני הטקסט כדי ליצור תגובות דמוי אדם, על ידי חיזוי איזה טקסט צריך לבוא אחר כך בכל משפט נתון.

רשת זו משתמשת במשהו שנקרא ארכיטקטורת טרנספורמרים (ה-T ב-GPT) והוצעה במאמר מחקר עוד בשנת 2017. היא חיונית לחלוטין לפריחה הנוכחית במודלים של AI.

למרות שזה נשמע – ואכן מסובך כשמנסים להסביר את זה, מודל הטרנספורמרים פישט באופן יסודי את האופן שבו אלגוריתמי AI תוכננו. זה מאפשר ביצוע מקביל לחישובים (או ביצוע בו-זמנית), ומאפשר זמני אימון מופחתים משמעותית. זה לא רק הפך את מודלי הבינה המלאכותית לטובים יותר, אלא גם הפך אותם למהירים וזולים יותר לייצור.

בליבת הטרנספורמרים נמצא תהליך הנקרא self-attention “תשומת לב עצמית”. רשתות עצביות קודמות יותר (RNNs) קוראות טקסט משמאל לימין. זה בסדר כשמילים ומושגים קשורים זה לצד זה, אבל זה מסבך דברים כשהם נמצאים בקצוות מנוגדים של המשפט. (זו גם דרך איטית לחישוב דברים מכיוון שהיא צריכה להיעשות ברצף.)

טרנספורמרים, לעומת זאת, קוראים כל מילה במשפט בבת אחת ומשווים כל מילה לכל האחרות. זה מאפשר להם להפנות את “תשומת הלב” שלהם למילים הרלוונטיות ביותר, לא משנה היכן הן נמצאות במשפט. וזה יכול להיעשות במקביל על חומרת מחשוב מודרנית.

כמובן, זו דרך מאוד פשטנית להסביר את זה. טרנספורמרים לא עובדים עם מילים: הם עובדים עם “טוקנים”, שהם נתחי טקסט או תמונה מקודדת כווקטור (vector = מספר עם מיקום וכיוון). ככל ששני וקטור-טוקן קרובים יותר בחלל, כך הם קשורים יותר. באופן דומה, תשומת לב מקודד כווקטור, המאפשר לרשתות עצביות מבוססות טרנספורמרים לזכור מידע חשוב בפסקת טקסט קודמת.

וזה עוד לפני שנכנסנו למתמטיקה הבסיסית של איך זה עובד, שזה מעבר למסגרת מאמר זה, Machine Learning Mastery מדבר על הצד הטכני של הדברים.

טוקנים (Tokens)

האופן שבו טקסט נקלט ומובן על ידי מודלים של AI הוא גם חשוב, אז בואו נסתכל קצת יותר לעומק על טוקנים. GPT-3, המודל הראשון הגדול שמאחורי ChatGPT, הוכשר על כ-500 מיליארד טוקנים, מה שמאפשר למודלים של השפה שלו להקצות יותר משמעות ולחזות טקסט סביר יותר בהמשך, וזאת על ידי מיפוי שלהם במרחב הוקטורי. מילים רבות ממופות לטוקנים בודדים, אם כי מילים ארוכות או מורכבות יותר לרוב מפורקות למספר טוקנים. בממוצע, טוקנים הם באורך של כארבעה תווים. OpenAI שמרה על שקט בנוגע לתפקוד הפנימי של GPT-4 ו- GPT-4o, אבל אנחנו יכולים להניח שהוא אומן על אותו מערך נתונים, מכיוון שהוא אפילו חזק יותר.

כל טוקני הטקסט הגיעו ממאגר עצום של נתונים שנכתבו על ידי בני אדם, כך לפחות עבור GPT-3. זה כולל ספרים, מאמרים ומסמכים אחרים בכל הנושאים, הסגנונות והז’אנרים השונים – וכמות מדהימה של תוכן שנאסף מהאינטרנט הפתוח. ביסודו של דבר, הוא הורשה לעבור על סך הידע האנושי כדי לפתח את הרשת שבה הוא משתמש ליצירת טקסט.

בשלב זה, אוזלים נתוני האימון שנוצרו על ידי אדם, כך שמודלי GPT-4 ומעלה עשויים להיות מאומנים גם על נתוני אימון סינתטיים – או שנוצרו על ידי בינה מלאכותית.

בהתבסס על כל האימון הזה, לרשת העצבית של GPT-3 יש 175 מיליארד פרמטרים או משתנים שמאפשרים לו לקבל קלט – שזה ההנחיה שלכם – ולאחר מכן, בהתבסס על הערכים והשקלולים שהוא מספק לפרמטרים שונים (וכמות קטנה של אקראיות), הוא פולט תגובה שהוא חושב שהכי מתאים לבקשתכם. OpenAI לא אמרה כמה פרמטרים יש ל-GPT-4, אבל זה הניחוש הבטוח שזה יותר מ-175 מיליארד (אך פחות מ-100 טריליון הפרמטרים שסבבו בשמועות שונות). ללא קשר למספר המדויק, יותר פרמטרים לא אומר באופן אוטומטי שזה טוב יותר. חלק מהכוח המוגבר של GPT-4 אכן נובע מכך שיש לו יותר פרמטרים מאשר GPT-3, אבל הרבה תלוי כנראה בשיפורים באופן ההכשרה שלו.

לגבי GPT-4o ו-GPT-4o mini, עוד יותר קשה להסיק מסקנות. כי בנוסף לטקסט, הם אומנו על תמונות ואודיו – שגם אותם ניתן לפרק לטוקנים נפרדים. כך שלרשתות העצבים שלהם חייבות להיות מיליארדי פרמטרים נוספים כדי להתמודד עם אותם מודאליות נוספות.

למרבה הצער, התחרות הארגונית בין חברות הבינה המלאכותית השונות גורמת לכך שהחוקרים שלהן אינם מסוגלים או לא רוצים לשתף את כל הפרטים המעניינים על האופן שבו המודלים שלהם פותחו.

המשמעות של מודאליות מוגדרת כ”מצב מסוים שבו משהו קיים או נחווה או מתבטא”. בבינה מלאכותית, אנו משתמשים במונח זה כדי לדבר על סוג/ים של נתוני קלט ופלט שמערכת בינה מלאכותית יכולה לפרש. במונחים אנושיים, המשמעות של המודאליות מתייחסת לחושי המישוש, הטעם, הריח, הראייה והשמיעה. עם זאת, מערכות AI יכולות להשתלב עם מגוון חיישנים ומנגנוני פלט כדי לקיים אינטראקציה באמצעות מערך נוסף של סוגי נתונים.

למידת חיזוק ממשוב אנושי (RLHF)

זה ברור שהרשת העצבית המקורית של GPT לחלוטין לא הייתה מתאימה לפרסום פומבי. הוא הוכשר על ידי האינטרנט הפתוח כמעט ללא הדרכה, אחרי הכל. לכן, כדי לחדד עוד יותר את היכולת של ChatGPT להגיב למגוון של הנחיות שונות בצורה בטוחה, הגיונית וקוהרנטית, הוא עבר אופטימיזציה לדיאלוג עם טכניקה שנקראת למידת חיזוק עם משוב אנושי (RLHF Reinforcement learning from human feedback).

ביסודו של העינין, OpenAI יצרה כמה נתוני הדגמה שהראו לרשת העצבית כיצד עליה להגיב במצבים טיפוסיים. מתוך כך, הם יצרו מודל תגמול עם נתוני השוואה (כאשר שתי תגובות מודל או יותר דורגו על ידי מאמני בינה מלאכותית אנושיים) כך שה-AI יוכל ללמוד מהי התגובה הטובה ביותר בכל מצב נתון. למרות שזו אינה למידה מפוקחת טהורה, RLHF מאפשרת לכוונון יעיל של רשתות כמו GPT.

תהליך זה נמשך עם כל גרסה של GPT והוא חלק ממה שאיפשר למודלים המאוחרים יותר כמו GPT-4 ו- GPT-4o להיות בטוחים ואמינים יותר.

עיבוד שפה טבעית (NLP)

כל המאמץ הזה נועד להפוך את GPT ליעיל ככל האפשר בעיבוד שפה טבעית (NLP). NLP היא קטגוריית ענק שמקיפה היבטים רבים של בינה מלאכותית, כולל זיהוי דיבור, תרגום מכונה וצ’אט בוטים, אך ניתן להבין אותה כתהליך שבאמצעותו מלמדים את הבינה המלאכותית להבין את הכללים והתחביר של השפה, ומתוכנת לפתח מורכבות אלגוריתמים לייצוג כללים אלה, ולאחר מכן עשו שימוש באלגוריתמים אלה לביצוע משימות ספציפיות.

מכיוון שכיסיתי את הצד של ההדרכה ופיתוח האלגוריתמים, בואו נבחן כיצד NLP מאפשר ל-GPT לבצע משימות מסוימות – בפרט, להגיב להנחיות המשתמש.

חשוב להבין שלכל הדיון הזה על טוקנים, ChatGPT מייצר טקסט של מילים, משפטים ואפילו פסקאות שניתן לעקוב אחריהם. זה לא כמו הטקסט החזוי בטלפון שלכם שמנחש בבוטות את המילה הבאה; הוא מנסה ליצור תגובות קוהרנטיות לחלוטין לכל הנחיה. זה מה שהטרנספורמרים מביאים ל-NLP.

בסופו של דבר, הדרך הפשוטה ביותר לדמיין את זה היא כמו אחד מאותם משחקי “סיים את המשפט” ששיחקתם כילדים.

ChatGPT מתחיל בלקיחת ההנחיה שלכם, פירוקה לטוקנים, ולאחר מכן שימוש ברשת העצבית מבוססת הטרנספורמרים שלו כדי לנסות להבין מהם החלקים הבולטים ביותר, ומה שאתם באמת מבקשים ממנה לעשות. משם, הרשת העצבית נכנסת שוב לעבודה ומייצרת רצף של פלט מתאים של טוקנים, תוך הסתמכות על מה שהיא למדה מנתוני האימון שלה והכיוונון העדין.

לדוגמה, כאשר נתתי ל-ChatGPT את ההנחיה, “ChatGPT הוא…” התגובה היתה:

ChatGPT הוא מודל שפה מבוסס בינה מלאכותית, שנוצר על ידי OpenAI. הוא תוכנן להבין טקסטים כתובים וליצור תגובות טבעיות לשאלות ובקשות שונות, על בסיס המידע שהוא קיבל במהלך ההכשרה שלו. ChatGPT יכול לסייע במגוון משימות, כמו ניסוח טקסטים, מענה על שאלות, סיוע טכני, יצירת רעיונות, ועוד.

זה סוג המשפטים שתוכלו למצוא במאות מאמרים שמתארים את מה ש-ChatGPT עושה, אז הגיוני שזה מה שהוא שיגיב כאן. אבל ששאלתי עם הנחייה טיפה שונה: “מה זה ChatGPT?”, כך הוא הגיב:

ChatGPT הוא מודל שפה מבוסס בינה מלאכותית שפותח על ידי OpenAI. הוא נועד להבין ולייצר טקסט בשפה טבעית, כלומר לנהל שיחות, לענות על שאלות, לתת רעיונות ולספק מידע בתחומים שונים. השם “GPT” מייצג “Generative Pre-trained Transformer,” שהוא סוג של מודל למידת מכונה שאומן על כמויות גדולות של טקסטים כדי לזהות דפוסים ולספק תגובות מותאמות להקשר. המטרה היא להעניק לך כלי שיעזור בקבלת החלטות, יצירת תוכן, פיתוח רעיונות ועוד, והכול בצורה נוחה ומיידית, כמו בשיחה רגילה.

זה די דומה, אבל זה לא בדיוק אותה תגובה. השאלה “מה זה ChatGPT?”, “מה עושה ChatGPT?”, ו”תאר את ChatGPT” כולם מקבלים גם תוצאות דומות, ככל הנראה בגלל שהם תופסים מיקומים דומים במרחב הווקטורי. GPT מבין שהמילה הכי בולטת כאן היא ChatGPT, ושכל המילים האחרות רק מבקשות סיכום קצר בדרכים קצת שונות.

האקראיות הזו (שניתן לשלוט בה בכמה אפליקציות GPT עם הגדרה שנקראת “temperature – טמפרטורה”) מבטיחה ש-ChatGPT לא רק מגיב לכל תגובה בודדת במה שמסתכם בתשובה שמורה אוטומטית. זה מריץ כל הנחיה דרך כל הרשת העצבית בכל פעם, וזורעת קצת רנדומליות פה ושם כדי לשמור על טריות. הבנתו את השפה הטבעית מאפשרת לו גם לנתח את ההבדלים העדינים בין “מה זה?” ו”מה זה עושה?” בעוד שאלו שאלות דומות ביסודן, הייתם מצפים שהתשובה תהיה שונה במקצת. כמובן שבכל דרך שתשאלו, סביר להניח ש-ChatGPT לא יתחיל לטעון ש-ChatGPT הוא חייזר ממאדים, אבל הוא כן יערבב את המילים הבאות על סמך ההסתברות היחסית שלהן.

מולטי-מודאליות ב-ChatGPT: תמונות, אודיו ועוד

בעוד שעיבוד שפה טבעית הוא חלק עצום מ-ChatGPT, במהלך השנה האחרונה, הצ’אטבוט הפך ליותר ויותר מולטי-מודאלי. כלומר, באמצעות GPT-4o (וגם GPT-4o mini), ChatGPT יכול גם להבין תמונות ואודיו כחלק מאותה הנחיה.

אם חשבתם “ChatGPT לא שעה את זה קודם?” אתם די צודקים. הנושא העיקרי כאן הוא איך זה קורה.

לפני GPT-4o, הצ׳אט של GPT הצליח להבין תמונות באמצעות מודל AI נפרד שיצר תיאורי טקסט עבור התמונה. באופן דומה, הוא יכול היה ״מאזין״ באמצעות מודל נוסף, מה שבאמת קרה מאחורי הקלעים היה מודל AI שהמיר דיבור לטקסט. בשני המקרים, הטקסט היה מה שהועבר ל-GPT, ולאחר מכן הגיב בטקסט או, במקרים מסוימים, על ידי הנחיה ל-DALL·E 3 ליצור תמונה.

עם מודל GPT-4o החדש, מודל AI אחד מסוגל גם להבין את הטקסט, האודיו והתמונה וגם להוציא תגובה באמצעות טקסט, אודיו או תמונות. זה צעד ענק קדימה.

לפלוט מילים, לא ידע

למרות כל הדיבורים שלי על “הבנה” ו”קליטה”, אתם צריכים לזכור שאלו פשוט המילים הכי שימושיות שיש לנו לתיאור איך פועלים מודלי בינה מלאכותית. GPT לא באמת מבין עברית או אנגלית, אבל יש לו מפה מאוד מפורטת של איך מושגים קשורים זה לזה. המפתחים של ChatGPT הם יהיו הראשונים שיעידו שהוא עלול לייצר מידע שגוי (ואולי גם מזיק), למרות שהם עובדים קשה מאוד על מנת לתקן אותו.

מה עוד מחכה לנו עם ChatGPT?

ChatGPT הפך מחידוש ויראלי לכלי פרודוקטיבי שנהיה שימושי יותר ויותר במהלך השנה האחרונה. ברור שמולטי-מודאליות הולכת להיות התכונה הגדולה הבאה עבור צ’אטבוטים ומודלי AI, אז צפו שהיא תהיה טובה יותר בהיענות לתמונה, אודיו ואולי אפילו לדברים כמו הנחיות וידאו.

תהיו בטוחים ש- OpenAI כבר מאמן את הגרסה הבאה של GPT. נותר לנו לחכות ולראות אילו תכונות יגיעו ל-ChatGPT.

אנו נהיה כאן עבורכם כדי לספק את כל העדכונים לכלי המדהים הזה שחולל את המהפכה הטכנולוגית הגדולה ביותר בימי חיינו..