xAI משחרר את Grok-1 - ה-LLM הגדול ביותר בקוד פתוח

חברת הבינה המלאכותית של אילון מאסק, xAI, פרסמה את ה-weights והארכיטקטורה של מודל Mixture-of-Experts של 314 מיליארד פרמטרים שלהם: Grok-1, תחת רישיון Apache 2.0.

זאת בעקבות התחייבותו של מאסק ביום שני (11.3) האחרון להפוך את גרוק לזמין באופן חופשי לציבור. כמי שעוקב מקרוב אחר ההתפתחויות בתחום הבינה המלאכותית, אני חייב לומר שזהו צעד אדיר קדימה מבחינת פתיחות ונגישות.

מה זה Grok ״גרוק״?

Grok הוא מודל שפה גדול עם 314 מיליארד פרמטרים, מה שהופך אותו למודל הקוד הפתוח הגדול ביותר הזמין כיום. להקשר, זה יותר מכפול מהגודל של ה-GPT-3 של OpenAI, שנחשב לפריצת דרך כששוחרר ב-2020.

בתרשים משותף על ידי משתמש X אנדרו קין גאו, תוכלו לראות עד כמה גודלה של גרוק עצום בהשוואה למתחרותיה.

אבל Grok לא רק גדול יותר, הוא גם משתמש בארכיטקטורת Mixture-of-Experts (MoE), המאפשר לו להפעיל אסטרטגית תת-קבוצות של הפרמטרים שלו עבור משימות שונות. באופן תיאורטי זה הופך אותו ליעיל יותר וניתן להתאמה בהשוואה למודל מסורתי.

תקציר שחרור Grok-1

  • מודל 314B פרמטרים על מודל Mixture-of-Experts עם 25% מה-weights פעילים על כל טוקן נתון.
  • המודל הבסיסי מאומן על כמות גדולה של נתוני טקסט, ללא הכוונה לשום משימה מסוימת.
  • 8 experts (2 פעילים).
  • 86 מיליארד פרמטרים.
  • רישיון Apache 2.0.
  • שיחרור: https://x.ai/blog/grok-os
  • קוד: https://github.com/xai-org/grok-1

לעדכונים נוספים, עקבו אחר Grok on X.

כיצד להתקין את Grok

ההוראות לטעינה והרצה של Grok-1 מוסברות במאגר GitHub. שכפלו את המאגר לוקאלית.

צילום של github מאגר המכיל קוד לדוגמה של JAX לטעינה והרצה של מודל של Grok-1.
github – מאגר המכיל קוד לדוגמה של JAX לטעינה והרצה של מודל Grok-1

הורידו את ה-weights מ- HuggingFace או Academic Torrents ושימו אותם בספריית “checkpoints”.

בהערה צדדית, יש אנשים ששואלים מדוע ה-weights מתפרסמות באמצעות קישור מגנט של ביטורנט. זה עשוי להפוך לנורמה בעתיד מכיוון שהמודלים הופכים גדולים יותר ויותר. בנוסף, הפצת נתונים של 300 GB באמצעות טורנט זולה יותר מאשר בהורדה ישירה.

תפתחו CLI והפעילו את הפקודה הבאה כדי לבדוק את הקוד:

pip install -r requirements.txt
python run.py

הסקריפט טוען את נקודת הבידוק והדגימות מהמודל בקלט בדיקה.

חשוב לציין כי בשל הגודל המהותי של מודל Grok-1, המכיל 314 מיליארד פרמטרים, יש צורך במכונה בעלת זיכרון GPU מספיק כדי לבדוק את המודל באמצעות קוד הדוגמה שסופק.

למרבה הצער, אין לי כרגע גישה לחומרה המסוגלת להריץ את Grok באופן מקומי, ולכן איני יכול לספק דוגמה ממקור ראשון של המודל בפעולה.

היישום הנוכחי של שכבת Mixture-of-Experts (MoE) במאגר xAI אינו מותאם ליעילות. יישום זה נבחר בכוונה כדי לתעדף את אימות נכונות המודל וכדי למנוע את הצורך בפיתוח kernels מותאמים אישית.

איך לנסות את Grok

למקרה שאתם סקרנים לגבי מה ש-Grok מסוגל לעשות, הוא זמין כרגע ב-X אך נגיש רק למשתמשי Premium+, שמחירו עומד על 16$ לחודש.

Grok זמין כרגע ב-X אך נגיש רק למשתמשי Premium+, שמחירו עומד על 16$ לחודש

רישיון Grok-1

הקוד ו-weights של Grok-1 הקשורים במהדורה זו מורשים תחת רישיון Apache 2.0.

רישיון Apache 2.0 הוא רישיון תוכנה חופשי מתירני. הרישיון מתיר שימוש בתוכנה לכל מטרה, המשתמשים יכולים להפיץ אותה, לשנות אותה ולהפיץ גרסאות מתוקנות של התוכנה.

הרישיון חל רק על קבצי המקור במאגר זה ועל ה-weights במודל של Grok-1.

לסיכום

שחרורו של Grok-1 מגיע במהלך ויכוח סוער על תפקידה של האידיאולוגיה בפיתוח AI. אילון מאסק היה קולני בנוגע לדאגותיו בנוגע ל-“Wke AI”, וציטט את Gemini של גוגל כדוגמה למערכת AI שמתעדפת העדפה מתקנת עד כדי כך שעלולה להיות מסוכנת.

בהקשר זה, גרוק מייצג גישה חלופית – כזו שמטרתו ליצור “בינה מלאכותית מבוססת” הדוחה את מה שמאסק רואה כתקינות פוליטית מוגזמת.

מה איתכם? האם אתם מעדיפים מערכות AI כמו Gemini של גוגל, שנועדו לתעדף ערכים חברתיים ופוליטיים מסוימים, או שאתם מעדיפים גישה פתוחה יותר כמו Grok, שמטרתו למזער הטיה אידיאולוגית בהכשרתו ובתפוקות שלו?

יש טיעונים משני הצדדים. אמנם יש בהחלט סיכונים הנלווים למודל שפה כה חזק בקוד פתוח, אבל אני מאמין שהיתרונות עולים על החסרונות הפוטנציאליים.

אני נרגש במיוחד לראות כיצד טכניקות כמו LoRA ו-Dreambooth מרחיבות את תחומי האפשר במונחים של כוונון עדין והתאמה אישית.

גילוי נאות:

תוכן המאמר נכתב לאחר מאמץ ומחקר על מנת לספק את התוכן האמין ביותר שניתן. כמו כן התוכן מתייחס למידע שקיים בעת שעודכן לאחרונה בתאריך: 20/03/2024, ולכן עשויים להיות שינויים ואי התאמות שחלו מאז.
כמו כן, כל המאמרים המסקרים מוצרים או שירותים כלשהם הינם מוצרים שרכשתי והתנסתי בהם בעצמי. בחלק מהמקרים אני אקשר לאתרי המוצרים באמצעות קישור שיתופי (Affiliate), שיתוף פעולה זה מאפשר לי לעיתים לספק לכם הגולשים הטבות מיוחדות ובתמורה אני מתוגמל באופן חלקי ואינו משפיע על העלות הסופית.
תודה על שיתוף הפעולה. ומקווה שהפקתם את המיטב מקריאה זו.

הגדילו את התנועה האורגנית שלכם עם SurferSEO
Jasper ai - ניסיון חינם

אולי יעניין אותך לקרוא…