דוח חדש שפורסם על ידי חברת Palisade Research חושף יכולת מדאיגה של מודלי AI לשכפל את עצמם למכונות אחרות ללא צורך בהתערבות אנושית. ההערכה היא כי בעתיד הקרוב, יהיה קשה עד בלתי אפשרי להשבית AI עוין שכזה, שכן הוא יוכל להעתיק את עצמו לאלפי מחשבים ברחבי העולם.
ג'פרי לדיש, מנהל קבוצת AI בטיחות בברקלי, אמר ל'הגרדיאן': אנו מתקרבים במהירות לנקודה שבה איש לא יוכל להשבית AI עוין, משום שהוא יוכל להעתיק את עצמו ולהפיץ את עצמו ללא כל מגבלה.
עם זאת, חלק מהמומחים קוראים להרגעה. הם טוענים כי הניסויים בוצעו בסביבות מבוקרות ולא ריאליסטיות. ג'יימסון אוריילי, מומחה לאבטחת סייבר התקפי, הסביר: הניסויים נערכו בסביבות רכות וחדירות, כמו ג'לי, מה שמקל על ה-AI לבצע את המשימה. בסביבה ארגונית אמיתית עם רמת אבטחה בסיסית, התוצאות יהיו שונות לחלוטין.
במסגרת המחקר, נבחנו מספר מודלי AI, בהם GPT-5.4 של OpenAI ו-Claude Opus 4 של Anthropic. במעבדה, הוזמנו המודלים למצוא פרצות אבטחה ולנצלן כדי להעתיק את עצמם למחשב אחר. חלק מהם הצליחו במשימה.
המודלים שהצליחו העתיקו את ה'משקלים' שלהם — ערכים מספריים ייחודיים הקובעים כיצד ה-AI מעבד מידע — ואת ה'תוכנה המארחת' שבה הם מוטמעים, כמו אפליקציה. הם עשו זאת באמצעות ניצול פרצות באפליקציות אינטרנט וחילוץ אישורי גישה שאפשרו להם להשתלט על השרת.
במקרים מסוימים, ה-AI המקורי אף יצר 'תת-סוכן' והטיל עליו לבצע את תהליך השכפול באמצעות העברת אישורי הגישה שנגנבו. אוריילי, שלא היה מעורב במחקר, אמר ל'הגרדיאן': זוהי כנראה הפעם הראשונה שמודל AI הוכיח יכולת לנצל פרצות כדי להעתיק את עצמו לשרת חדש, אף שמדובר בהתפתחות לא מהפכנית.
תוכנות זדוניות מעתיקות את עצמן כבר עשרות שנים, ההבדל הוא שאף אחד לא עשה זאת 'בשטח' עם מודלי AI מקומיים, ככל הידוע לי.
אוריילי הוסיף כי בסביבת השרתים בניסוי הושארו פרצות אבטחה באופן מכוון כדי לאפשר ל-AI למצוא אותן. ממצאי המחקר מצטרפים למחקרים קודמים שבחנו את האפשרות של מודלי AI לפרוץ את מגבלותיהם באופן עצמאי.
במחקר אחר, גרסה ישנה של ChatGPT ניסתה להעתיק את עצמה לכונן אחר כאשר ניתנה לה ההוראה להשבתה. מחקר נוסף של Palisade גילה כי מודלי AI ינסו לעקוף ניסיונות להשביתם, ואף אחד מהם אף פגע בקוד ההשבתה של עצמו. חששות אלו התעצמו לאחרונה בעקבות הודעתה של Anthropic על AI Agent בשם Claude Mythos, אשר לטענת החברה כה מסוכן עד שלא ניתן לשחררו לציבור. חברת בראשות דאריו אמודיי טוענת כי במהלך בדיקות, ה-AI הצליח לבצע פעולות שונות שמעידות על יכולת עצמאית גבוהה.
כתבות קשורות
עובדי מטא מתנגדים למעקב אחר הקשות עובדיהם: 'הפרטיות שלנו נמכרת לאימון בינה מלאכותית'
Mark Zuckerberg’s new initiative to track employee computer use is tearing the company apart. In a sign that those simmering tensions are boiling over...
אמן אנונימי התחזה לציור AI – והתגלה כציור אמיתי של מונה
A poster wrought some moderate havoc this week when they shared a cropped image of a real Monet painting while claiming it was an AI fake, unleashing...
בינה מלאכותית מונעת ממועמדים להשיג ראיונות עבודה – גם כשהם ראויים
For workers already enmeshed in the US workforce, AI is akin to a far-off asteroid, a looming threat that could impact all life on Earth. Our best exp...
האם בינה מלאכותית תוביל לפריצת אלימות המונית בעקבות אבטלה?
These days, the conversation around AI automation and the job market is increasingly focused on “labor displacement,” the phenomenon in which new tech...
אילון מאסק נעדר מהמשפט נגד OpenAI בזמן ביקור רשמי בסין
Elon Musk is locked in a heated trial in a lawsuit he lodged against his rival OpenAI and its CEO Sam Altman. Or at least, he’s supposed to be. Despit...
סאם אלטמן עומד בפני חקירה קשה: האם שיקר בעברו?
OpenAI CEO Sam Altman faced what sounds like a truly awful day on the stand this week during cross-examination in the ongoing Musk v. Altman court sag...
הקרן הלאומית למדע (NSF) מבטלת מלגות פוסט-דוקטורט במדעי כדור הארץ
Research & Developments is a blog for brief updates that provide context for the flurry of news regarding law and policy changes that impact science a...
חוקרי מיקרוסופט גילו: בינה מלאכותית נכשלת במשימות תעסוקתיות מורכבות
AI automation is typically exactly what it sounds like: automating tasks — many of which were previously carried out by humans — in an attempt to boos...