Nvidia הכריזה על תוכנה למחשב בשם AI Workbench כדי להכיל בקלות רבה יותר מודלים של רשתות עצביות בתחנות עבודה מקומיות כדי ״לביים״ אותם לענן.
Nvidia מתכננת לשלוח בשנה הבאה גרסה משופרת של מה שהיא מכנה "סופר-צ'יפ" המשלב מעבד ו-GPU, עם זיכרון מהיר יותר, כדי להעביר יותר נתונים לתוך המעגל של השבב ומחוצה לו. מנכ"ל Nvidia, Jensen Huang, פרסם את ההכרזה ביום שלישי (8.8.23) במהלך הנאום המרכזי שלו בתערוכת הגרפיקה הממוחשבת SIGGRAPH בלוס אנג'לס.
שבב GH200 הוא הגרסה הבאה של השבב המשולב של Grace Hopper, שהוכרז מוקדם יותר השנה, שכבר נשלח בגרסתו הראשונית במחשבים מבית Dell ואחרים.
בעוד שה-Grace Hopper הראשוני מכיל 96 גיגה-בייט של זיכרון HBM כדי להזין את ה-Hopper GPU, הגרסה החדשה מכילה 140 גיגה-בייט של HBM3e, הגרסה הבאה של תקן זיכרון רוחב פס גבוה. HBM3e מגביר את קצב הנתונים שמזין את ה-GPU ל-5 טרה-בייט (טריליון בתים) לשנייה מ-4 טרה-בייט ב-Grace Hopper המקורי.
ה-GH200 יוצא שנה אחרי Grace Hopper המקורי, שלדברי הואנג, בחודש מאי, היה בייצור מלא.
"השבבים נמצאים בייצור, נדגום אותם בסוף השנה, בערך, ונהיה בייצור עד סוף הרבעון השני [2024]," אמר ביום שלישי בנאומו.
ה-GH200, כמו המקור, כולל 72 ליבות CPU מבוססות ARM בשבב Grace, ו-144 ליבות GPU ב-Hopper GPU. שני השבבים מחוברים על פני המעגל על ידי ממשק זיכרון קוהרנטי במהירות גבוהה, NVLink, המאפשר ל-Hopper GPU לגשת לזיכרון ה-DRAM של המעבד.
Huang תיאר כיצד ניתן לחבר את ה-GH200 ל-GH200 נוסף בשרת בעל תצורה כפולה, עבור סך של 10 טרה-בייט של רוחב פס זיכרון HBM3e.
שדרוג מהירות הזיכרון של חלקי GPU הוא סטנדרטי למדי עבור Nvidia. לדוגמה, הדור הקודם של GPU – A100 "אמפר" – עבר מ-HBM2 ל-HBM2e.
HBM החלה להחליף את תקן הזיכרון הקודם של GPU, GDDR, בשנת 2015, מונע על ידי דרישת הזיכרון המוגברת של צגי 4K עבור גרפיקה של משחקי וידאו. HBM היא תצורת זיכרון "מוערמת", כאשר קוביית הזיכרון הבודדת מוערמת אנכית אחת על השנייה, ומחוברת זו לזו באמצעות "through-silicon via" העוברת דרך כל שבב ל"micro-bump" מולחמת. על פני השטח בין כל שבב.
תוכניות בינה מלאכותית, במיוחד סוג הבינה המלאכותית הגנרטיבית כמו ChatGPT, שהינם עתירות זיכרון. הם חייבים לאחסן מספר עצום של משקלים עצביים, או פרמטרים, המטריצות שהן היחידות הפונקציונליות העיקריות של רשת עצבית. משקלים אלה גדלים עם כל גרסה חדשה של תוכנית בינה מלאכותית, כגון מודל שפה גדול, והם נוטים לכיוון טריליון פרמטרים.
וגם: דוח הרווחים של NVIDIA חושף דומיננטיות במהפכת הבינה המלאכותית
כמו כן במהלך התוכנית, Nvidia הכריזה על מספר מוצרים ושותפויות נוספים.
AI Workbench היא תוכנית הפועלת על תחנת עבודה מקומית שמקלה על העלאת מודלים של רשת עצבית עבור הענן בצורה מכוללת. AI Workbench רושם כעת משתמשים לגישה מוקדמת.
תצורות תחנת עבודה חדשות עבור AI גנרטיבי, מבית Dell, HP, לנובו ואחרות, תחת המותג "RTX", ישלבו עד ארבעה מ-"RTX 6000 Ada GPUs" של החברה, שלכל אחד מהם יש 48 גיגה-בייט של זיכרון. תחנת עבודה שולחנית יכולה לספק עד 5,828 טריליון פעולות נקודה צפה בשנייה (TFLOPs) של ביצועי AI ו-192 גיגה-בייט של זיכרון GPU, אמרה Nvidia.
