רוכשי כרטיסי GPU משחקים בלוטו הסיליקון: ביצועים לא צפויים בענן

אם חשבתם שכל כרטיסי ה-GPU זהים זה לזה, תחשבו שוב. מחקר חדש מגלה כי קיימת שונות מפתיעה בביצועי שבבים מאותו דגם עצמו. ממצא זה הופך את רכישת זמן ענן על גבי GPU לסוג של הגרלה, כאשר ההבדלים יכולים להגיע עד ל-38% בביצועים.

התופעה המכונה "לוטו הסיליקון" (Silicon Lottery) ידועה כבר משנת 2022, אז חוקרים מאוניברסיטת ויסקונסין קישרו אותה לשונות בביצועי מחשבי-על התלויים ב-GPU. כעת, צוות חוקרים מקולג' ויליאם אנד מרי, מעבדת ג'פרסון ו-Silicon Data גילו כי ההשפעה בולטת במיוחד בקרב לקוחות ענן בתחום הבינה המלאכותית.

ביצועים משתנים בכל דגמי ה-GPU בענן

במחקר נבחנו 6,800 בדיקות ביצועים על 3,500 כרטיסי GPU אקראיים מתוך 11 ספקי ענן שונים. הכרטיסים כללו 11 דגמים של Nvidia, כאשר הדגם המתקדם ביותר היה ה-H200 SXM. הבדיקות התבצעו באמצעות כלי המדידה SiliconMark, אשר בוחן את יכולת ה-GPU להריץ מודלי שפה גדולים (LLMs), תוך מדידת ביצועי חישוב נקודה צפה 16-ביט (TFLOPS) ורוחב הפס של הזיכרון הפנימי (GB/s).

פערים של עד 34.5% בביצועים ו-38% ברוחב הפס

התוצאות חשפו שונות משמעותית בביצועים בין יחידות זהות: בקרב 259 יחידות H100 PCIe נמדדו פערים של עד 34.5% בביצועי החישוב, ואילו בקרב 253 יחידות H200 SXM נמדדו פערים של עד 38% ברוחב הפס של הזיכרון. גורמים כמו שיטות קירור, תצורות ספקי הענן ושימוש קודם בשבבים תרמו לשונות זו, אך ניתוח מעמיק של Silicon Data העלה כי מקור ההבדלים העיקרי טמון בשבבים עצמם, ככל הנראה בשל בעיות ייצור.

השלכות כספיות משמעותיות

החוקרים מדגישים כי שונות זו אינה רק עניין טכני, אלא משפיעה ישירות על עלויות המשתמשים. במקרים מסוימים, רכישת זמן ענן על גבי GPU מתקדמים יותר עשויה שלא להניב ביצועים טובים יותר מאשר דגמים ישנים יותר, מה שהופך את ההשקעה לנטולת ודאות.

מה ניתן לעשות? המלצות למשתמשים

• הרצת בדיקות ביצועים מראש: לפני רכישת זמן ענן, מומלץ להריץ כלי מדידה כמו SiliconMark כדי לבחון את הביצועים בפועל של ה-GPU הנרכש.
• השוואת מחירים וביצועים: יש לבחון לא רק את דגם ה-GPU אלא גם את הביצועים בפועל של יחידות ספציפיות, שכן שונות זו קיימת גם בין יחידות מאותו דגם.
• בחינת ספקי ענן שונים: ספקים שונים עשויים להציע ביצועים שונים לאותו דגם GPU, ולכן מומלץ לבדוק ולהשוות בין מספר ספקים לפני רכישה.

דברי מומחים

"הגישה המעשית ביותר היא להריץ בדיקות ביצועים על היחידה הספציפית שנרכשה. כלי המדידה מאפשר להשוות את הביצועים מול מאגר נתונים רחב ולהבטיח שהמשתמש מקבל את ערך הכסף שלו." – ג'ייסון קורניק, ראש תשתיות ב-Silicon Data.