חומרה מתקדמת יכולה להפוך מודלי AI קטנים לגיבורים ירוקים וחסכוניים

מודלים גדולים, בעיות גדולות

ככל שמודלי הבינה המלאכותית גדלים, כך גדלות גם יכולותיהם – אך גם צריכת האנרגיה שלהם ועלויות ההפעלה. מודל Llama האחרון של מטא, למשל, כולל שני טריליון פרמטרים, מה שמגדיל משמעותית את דרישות החומרה ואת טביעת הרגל האקולוגית של המערכות.

למרות אזהרות מומחים לגבי החזר הולך ופוחת בביצועים כתוצאה מהגדלת המודלים, חברות ממשיכות להשיק כלים גדולים יותר. הפתרון המסורתי היה מעבר למודלים קטנים יותר או שימוש במספרים בעלי דיוק נמוך יותר, אך גישה זו מוגבלת ביכולותיה. כעת, חוקרים מציעים דרך חדשה: ניצול היעילות הטמונה בערכי האפס במודלים.

הכוח הנסתר של האפסים

ברוב המודלים, למעלה מ-50% מהפרמטרים – המשקלים והפעילויות – הם למעשה אפסים או קרובים לאפס. תופעה זו, המכונה דלילות (sparsity), מאפשרת חיסכון משמעותי בחישובים ובזיכרון. במקום לבצע פעולות חוזרות על אפסים, ניתן לדלג עליהן לחלוטין, ובמקום לאחסן אלפי אפסים, לאחסן רק את הערכים הלא-אפסיים.

עם זאת, חומרה מסורתית כמו מעבדים רב-ליבתיים ו-GPUs אינה מנצלת את הדלילות באופן מלא. כדי לממש את הפוטנציאל הזה במלואו, יש צורך בשינוי יסודי בכל שכבות התכנון: חומרה, קושחה ברמה נמוכה ותוכנה.

שבב חדש ממחקר סטנפורד: חיסכון אנרגטי של פי 70 וביצועים מהירים פי 8

צוות חוקרים מאוניברסיטת סטנפורד פיתח את השבב הראשון הידוע שמסוגל לבצע הן עומסי עבודה דלילים והן עומסים מסורתיים באופן יעיל. השבב הציג חיסכון אנרגטי ממוצע של פי 70 בהשוואה למעבדים רגילים, תוך שהוא מאיץ את החישובים בממוצע פי 8. ההישג הושג באמצעות תכנון מחדש מלא של החומרה, הקושחה והתוכנה כדי לנצל את הדלילות.

מהי דלילות ואיך היא עובדת?

דלילות מתייחסת למבנים מתמטיים כמו וקטורים, מטריצות או טנזורים, שבהם רוב הערכים הם אפסים. לדוגמה, גרף רשתות חברתיות הוא דליל מטבעו: רוב האנשים אינם מקושרים זה לזה, כך שמטריצה המייצגת קשרים בין כל המשתמשים תכיל בעיקר אפסים. דלילות יכולה להופיע באופן טבעי או להיות מושרית באמצעות טכניקות אופטימיזציה.

כאשר מערכת עובדת עם נתונים דלילים, ניתן לייעל את החישובים על ידי:

• דילוג על פעולות על אפסים: הימנעות מכפל או חיבור של ערכים שאינם משפיעים על התוצאה.
• אחסון יעיל: שמירה של נתונים לא-אפסיים בלבד, תוך הפחתת דרישות הזיכרון.
• חומרה ייעודית: תכנון רכיבים שמזהים ומנצלים דלילות באופן אוטומטי.

עתיד ירוק יותר לבינה מלאכותית

החוקרים מקווים שהשבב החדש יהווה צעד ראשון בהתפתחות חומרה ותוכנה שתאפשר מודלי AI יעילים יותר מבחינה אנרגטית. בעוד שמרבית המערכות הנוכחיות אינן מנצלות דלילות, פיתוחים כמו זה עשויים להוביל לעידן חדש שבו גודל המודל לא יהיה גורם מגביל לצורך ביצועים גבוהים וקיימות סביבתית.

«הדרך להפוך מודלי AI לגדולים ויעילים בו זמנית עוברת דרך חומרה שתוכל לנצל את הדלילות הטבעית שלהם. זהו מפנה שיכול לחולל מהפכה בתעשייה.»

סיכום ומגמות עתידיות

הפיתוח של שבב המנצל דלילות מצביע על כיוון חדש בתחום הבינה המלאכותית: במקום להסתמך על הגדלת מודלים, ניתן לייעל את החומרה כך שתעבוד באופן חכם יותר עם הנתונים הקיימים. מגמה זו עשויה להוביל ל:

• צמצום משמעותי בצריכת האנרגיה של מערכות AI.
• האצת תהליכי אימון והפעלה של מודלים גדולים.
• הרחבת השימוש בבינה מלאכותית בתחומים שבהם משאבים מוגבלים, כגון מכשירים ניידים או מערכות קצה.