האם התעשייה תסתפק במודלים טרנספורמר? הסיכון שבהשקעה העצומה ב-AI

חברות הבינה המלאכותית המובילות בעולם, ובהן OpenAI, Google DeepMind ו-Microsoft, משקיעות את מרבית תקציבי המחקר והפיתוח שלהן במודלי טרנספורמר מוקדמים (LLMs). ההנחה היא כי מודלים אלה, המבוססים על אלגוריתמים סטנדרטיים כמו backpropagation, יוכלו להוביל בסופו של דבר ליצירת אינטליגנציה כללית (AGI). אולם מומחים כמו בן גרץ'ל, מייסד המונח AGI, מטילים ספק בהנחה זו.

גרץ'ל, שטבע את המונח בשנת 2005 בספרו Artificial General Intelligence, טוען כי התעשייה מסתמכת יתר על המידה על העתקה של מודלי GPT בשינויים קלים בלבד. לדבריו, "התעשייה המסחרית בתחום ה-AI משקיעה הכל בהעתקה של GPT בצורות שונות, וזה בזבוז משאבים. כל המודלים הגדולים עושים בעצם את אותו הדבר."

הוא מוסיף כי ההסתמכות על מודלי טרנספורמר כפתרון יחיד היא מסוכנת, שכן הם דורשים השקעות עתק הן בפיתוח והן בהפעלה. למרות שהגדלת כוח המחשוב והנתונים ממשיכה לשפר את הביצועים, העלויות עולות בהתמדה, ובסופו של דבר עשויות לעלות על התועלת. בנוסף, ההשקעות העצומות מרתיעות את החברות מלהשקיע בפתרונות אלטרנטיביים.

לטענתו של גרץ'ל, הגדלת הסקאלה אינה מספיקה ללא אלגוריתמים מתאימים. הוא מציין כי מודלי טרנספורמר אינם מסוגלים ללמוד באופן רציף מניסיון חדש, בניגוד לבני אדם. במקום זאת, הם חוזרים לפרמטרים הבסיסיים בכל אינטראקציה חדשה, ללא למידה ממשית מהעבר.

חוקרים מ-Google DeepMind, Microsoft ו-Safe Superintelligence של איליה סוצקבר חוקרים ארכיטקטורות אלטרנטיביות שיאפשרו למידה מתמשכת. גרץ'ל מדגיש כי ל-DeepMind יש מגוון עצום בצוות ה-AI שלה וניסיון רב בפרדיגמות שונות, מה שיכול להוביל לפריצות דרך בתחום.

החלופות הנסתרות: מודלים חדשים שיכולים לשנות את המשחק

במקביל להשקעות העצומות במודלי טרנספורמר, חוקרים בוחנים פתרונות אלטרנטיביים שיכולים לקדם את התחום לקראת AGI. אחת הגישות החדשות היא שילוב של מספר מודלים מתקדמים יחדיו, תוך ניצול היתרונות של כל אחד מהם.

דוגמה לכך היא חברת Sakana AI היפנית, אשר השיקה לאחרונה את מוצר הדגל שלה, Sakana Fugu. החברה, שהוקמה בשנת 2023 על ידי ליון ג'ונס, אחד מתשעת הממציאים של מודלי הטרנספורמר, ודיוויד הא, חוקר לשעבר מ-Google DeepMind, מציעה מערכת רב-סוכנית שמאפשרת לתאם בין מספר מודלים מתקדמים מ-OpenAI, Google ו-Anthropic.

גרץ'ל אופטימי באשר ליכולת להשיג AGI בעתיד הקרוב, אך הוא מאמין כי הדבר ידרוש מעבר ממודלי טרנספורמר בלבד. "אני מאמין ש-AGI תופיע בעוד מספר שנים, אך היא תדרוש גישות חדשות ולא רק הגדלת הסקאלה של המודלים הקיימים."

הסיכון שבהשקעה העצומה בטכנולוגיה אחת

ההסתמכות על מודלי טרנספורמר כפתרון יחיד מעלה חששות בקרב מומחים רבים. ראשית, העלויות הגבוהות של פיתוח והפעלה של מודלים אלה עלולות להפוך לבלתי כדאיות כלכלית בעתיד. שנית, הגישה הנוכחית מונעת מחברות לחקור פתרונות אלטרנטיביים שיכולים להיות יעילים יותר בהשגת AGI.

גרץ'ל מציין כי למרות ההשקעות העצומות, התחום עדיין רחוק מלהיות מוגמר. "אנחנו עדיין בתחילת הדרך. ישנן גישות רבות שלא נחקרו מספיק, וייתכן שהן יובילו לפריצות דרך משמעותיות."

"התעשייה צריכה להפסיק להסתמך על מודל אחד ולחקור מגוון רחב של פתרונות. רק כך נוכל להגיע לאמיתית אינטליגנציה כללית." — בן גרץ', מייסד המונח AGI