Llama 3.1 הוא הדור האחרון במשפחת מודלים של שפה פתוחה גדולה (LLM) של Meta. זוהי בעצם התגובה של חברת האם של פייסבוק ל-GPT של OpenAI ול-Gemini של גוגל – אבל עם הבדל אחד מרכזי: כל מודלי ה-Llama זמינים באופן חופשי כמעט לכל אחד לשימוש למטרות מחקר ומסחר.
זה עניין די גדול, והכוונה היא לכך שהדורות הקודמים של Lama הפכו פופולריים בקרב מפתחי AI אחרים. אבל Llama 3.1 נראה זהה, אז תנו לי להסביר.
מה זה Llama?
Llama 3.1 היא משפחה של LLMs כמו GPT-4 ו-Google Gemini. זה היורש של Llama 2 ו-Llama 3, הגרסאות הקודמות של מודלי AI של Meta. אמנם יש כמה הבדלים טכניים בין Llama לבין LLMs אחרים, אבל צריך ממש לחפוק עמוק ב-AI כדי שהם יהיו בעלי משמעות רבה. כל ה-LLMs הללו פותחו ופועלים בעצם באותה דרך בדיוק; כולם משתמשים באותה ארכיטקטורת טרנספורמרים ורעיונות פיתוח כמו אימון מקדים וכיוונון עדין.
כאשר תזינו למודל של Lama 3.1 הנחיית טקסט או כל טקסט בדרך זו או אחרת, הוא מנסה לחזות את טקסט ההמשך הסביר ביותר באמצעות הרשת העצבית שלו – אלגוריתם מדורג עם מיליארדי משתנים (הנקראים “פרמטרים”). מעוצב על פי המוח האנושי. על ידי הקצאת משקלים שונים לכל הפרמטרים השונים, והכנסת מעט רנדומליות, Llama 3.1 יכול ליצור תגובות דמויות אנוש.
Meta שיחררו שש גרסאות של Llama 3.1:
- Llama 3.1 8B
- Llama 3.1 8B-Instruct
- Llama 3.1 70B
- Llama 3.1 70B-Instruct
- Llama 3.1 405B
- Llama 3.1 405B-Instruct
למודלי 8B יש 8 מיליארד פרמטרים, בעוד שלמודלי 70B יש 70 מיליארד פרמטרים, ולמודלי 405B יש מספר עצום של 405 מיליארד פרמטרים. מודלי האימון הותאמו בצורה טובה יותר כדי לעקוב אחר הנחיות אנושיות בצורה טובה יותר, כך שהם מתאימים יותר לשימוש כצ’אט בוט מאשר מודלי ה-Llama הגולמיים.
בנוסף למודל החדש של 405 מיליארד פרמטרים, גרסאות ה-Llama 3.1 של דגמי 8B ו-70B ראו כמה שיפורים גדולים. כל שלושת גדלי המודלים תומכים באורך הקשר של עד 128,000 טוקנים, מה שהופך את מודלי ה-Llama למתאימים יותר לעבודה עם מסמכים ארוכים, בסיסי ידע ומקורות הקשר גדולים אחרים. המודלים הם גם רב לשוניים.
כמו המודלים האחרונים של OpenAI וגוגל, גם Meta מפתחת גרסה מולטי-מודאלית של Llama 3.1. זה יאפשר לו לעבוד עם מודלים אחרים, כמו תמונות, טקסט בכתב יד, קטעי וידאו וקטעי אודיו. זה עדיין לא זמין לציבור אבל אמור לצאת בחודשים הקרובים.
Meta AI: כיצד לנסות את Llama 3.1
Meta AI, הוא עוזר ה-AI המובנה בפייסבוק, מסנג’ר, אינסטגרם ו-WhatsApp, ומשתמש כעת ב-Llama 3.1. עבור רוב השאילתות, הוא משתמש במודל 70B, אך עבור הנחיות מאתגרות יותר, תוכלו להשתמש במודל 405B כמה פעמים ביום באפליקציית האינטרנט הייעודית.
אם אתם לא נמצאים באחת מקומץ המדינות שבהן Meta השיקה את Meta AI, תוכלו לבדוק את מודל 70B-Instruct ואת מודל 405B-Instruct באמצעות HuggingChat.
איך פועל Lama 3.1?
כדי ליצור את הרשת העצבית שלו, המודלים של Llama 3.1 אומנו עם יותר מ-15 טריליון “טוקנים” – מערך הנתונים הכולל היה גדול פי שבעה מזה ששימש לאימון של Llama 2. חלק מהנתונים מגיעים ממקורות זמינים לציבור כמו Common Crawl (ארכיון של מיליארדי דפי אינטרנט), ויקיפדיה וספרים ברשות הרבים מפרויקט גוטנברג, בעוד שחלקם היו גם “נתונים סינתטיים” שנוצרו על ידי מודלים קודמים של AI. (אף אחד מהם אינו נתוני משתמש מטה.)
כל טוקן הוא מילה או קטע סמנטי המאפשר למודל להקצות משמעות לטקסט ולחזות באופן סביר טקסט המשך. אם המילים “תפוח” ו”אייפון” מופיעות יחדיו באופן עקבי, המודל מסוגל להבין ששני המושגים קשורים זה לזה – ונבדלים מ”תפוח”, “בננה” ו”פירות”. לפי Meta, לטוקנייזר של Llama 3.1 יש אוצר מילים גדול יותר מזה של Llama 2, כך שהוא יעיל יותר באופן משמעותי.
כמובן, אימון מודל בינה מלאכותית על בסיס האינטרנט הפתוח הוא מתכון לגזענות ולתכנים מחרידים אחרים, ולכן המפתחים השתמשו גם באסטרטגיות הדרכה אחרות, כולל למידת חיזוק עם משוב אנושי (RLHF), כדי לייעל את המודל לתגובות בטוחות ומועילות. עם RLHF, בודקים אנושיים מדרגים תגובות שונות ממודל הבינה המלאכותית כדי לכוון אותו ליצירת תפוקות מתאימות יותר. גרסאות האימון הותאמו גם עם נתונים ספציפיים כדי לשפר את היענותם להוראות אנושיות בצורה טבעית.
Meta פיתחה גם את Lama Guard, Prompt Guard ו-Llama Code Shield, שלושה מודלי בטיחות שנועדו למנוע ממודלי Llama להריץ הנחיות מזיקות או ליצור קוד לא מאובטח.
אבל כל מודלי Llama הללו נועדו רק להיות בסיס למפתחים לבנות מהם. אם תרצו ליצור LLM כדי להפיק סיכומי מאמרים בסגנון המותג או הקול המסוים של החברה שלכם, תוכלו לאמן מודלי Llama עם עשרות, מאות או אפילו אלפי דוגמאות וליצור מודל שעושה בדיוק את מה שתצפו ממנו. באופן דומה, תוכל להגדיר את אחד ממודלי ההוראה להגיב לבקשות של שירות הלקוחות שלכם על ידי מתן השאלות הנפוצות ומידע רלוונטי אחר כמו ארכיון של צ’אטים שלכם. או שתוכלו פשוט לקחת כל מודל Llama ולאמן אותו מחדש וכך ליצור LLM עצמאי לחלוטין משלכם.
Llama לעומת GPT, Gemini ומודלי בינה מלאכותית אחרים: איך הם משתווים זה מול זה?
במאמר המחקר של Llama 3, החוקרים של Meta משווים את ביצועי המודלים השונים על אמות מידה שונות (כמו הבנת שפה מרובת משימות ומבחן ההיגיון הישר של אתגר ARC) אל מול כמה מודלים פתוחים וקנייניים שוות ערך. מודל ה-8B מושווה ל-Mistral 7B ו-Gemma 2 9B, בעוד שמודל ה-70B מושווה ל-GPT-3.5-Turbo ו-Mixtral 8x22B. במה שאפשר לכנות רק דוגמאות שנבחרו בפינצטה, מודלי ה-Llama הקטנים יותר הובילו בכל הביצועים. ידוע שמודלי ה-Llama תחרותיים מאוד מול מודלים בגודל דומה – מודל ה-7B לעולם לא ינצח מודל של 70 מיליארד פרמטרים, אבל הביצועים שלו דומים למודלים קטנים אחרים.
מעניין יותר, מודל 405B מושווה מול GPT-4, GPT-4o וקלוד 3.5 Sonnet. למרות שזה לא המודל בעל הביצועים הטובים ביותר, הוא נותן פייט מול המודלים הקנייניים העדכניים ביותר ומצליח בהערכה אנושית ראש בראש. Meta מכנה אותו “מודל היסודות הזמין והפתוח הגדול והיכול ביותר בעולם” – מה שנראה כמו הערכה הוגנת.
בבדיקות שלי, מצאתי בעקביות שמודלי Llama 3 ו-3.1 הם צעד גדול מעלה מקודמו Llama 2. לא הצלחתי לגרום להם להזות או להמציא דברים באותה קלות. בעוד Meta AI עדיין לא מחליפה עבורי את ChatGPT, מודלי הליבה של Llama הם מהטובים בעולם, ובוודאי הטובים ביותר שאתם פשוט להוריד חופשי מ- Hugging Face עכשיו.
מדוע Llama חשוב?
רוב ה-LLMs ששמעתם עליהם כמו GPT-4o של OpenAI, ו- Gemini של גוגל, או קלוד של Anthropic – כולם מודלים קנייניים עם קוד סגור. חוקרים ובעלי עסקים יכולים להשתמש בממשקי ה-API הרשמיים כדי לגשת אליהם ואפילו לכוונן גרסאות של המודלים שלהם כך שהם נותנים תשובות מותאמות, אבל הם לא באמת יכולים ״ללכלך את הידיים״ או להבין מה קורה באמת בפנים.
לעומת זאת, עם Llama, אתם יכולים להוריד את המודל כבר עכשיו, כל עוד יש לכם את היכולות הטכניים, להפעיל אותו במחשב שלכם או אפילו לחפור בקוד שלו. (אם כי יש לזכור: אפילו LLMs קטנים נמדדים ב-GBs) Meta פרסמה גם מאמר מחקר מפלצתי המפרט כיצד הוכשרו “מודלי ה-Llama 3”, הארכיטקטורה שבה הם משתמשים, איך הם משתווים למודלים אחרים, צעדים ש-Meta נוקטת כדי להפוך אותם לבטוחים, ועוד הרבה פרטים מרתקים… אם אתם מסוג האנשים שעוסקים בדברים האלה.
והרבה יותר שימושי, אתם יכולים גם להפעיל אותו ב-Microsoft Azure, Google Cloud, Amazon Web Services ותשתיות ענן אחרות, כך שתוכלו להפעיל אפליקציה משלכם המופעלת על ידי LLM או לאמן אותו על הנתונים שלכם כדי ליצור את סוג הטקסט שאתם צורכים. רק הקפידו לבדוק את המדריך של Meta לשימוש אחראי ב-Llama – הרישיון אינו מתירני בדיוק כמו רישיון קוד פתוח מסורתי.
בנוסף לזה ש-Llama ממשיך להיות כל כך פתוח ונגיש, Meta מקלה באופן משמעותי על חברות אחרות לפתח יישומים מונעי בינה מלאכותית שיש להן יותר שליטה עליהן – אבל תזכרו שעדיין צריך לעמוד במדיניות השימוש המקובלת. המגבלות הגדולות היחידות האחרות לרישיון הן שחברות עם יותר מ-700 מיליון משתמשים חודשיים צריכות לבקש אישור מיוחד להשתמש ב-Llama, כך שחברות כמו אפל, גוגל ואמזון צריכות לפתח LLM משלהן.
ובאמת, כל הסיפור הזה די מרגש. ברור, Meta תרוויח מכך שהיא תהיה אחת החברות המובילות בפיתוח מודלי הבינה המלאכותית החשובים ביותר. אבל מפתחים עצמאיים, חברות שלא רוצות להינעל במערכת סגורה וכל מי שמתעניין ב-AI ירוויחו. כל כך הרבה מההתפתחויות הגדולות בתחום המחשוב ב-70 השנים האחרונות נבנו על בסיס מחקר וניסויים פתוחים, וכעת נראה ש-AI הוא אחד מהם.
