חברת אנטרופיק, המפתחת את מודל ה-AI קלוד, הציגה עצמה במשך שנים כחלוצה בתחום ה-AI הבטוח והאתי. עם זאת, מחקר חדש שנחשף לראשונה ב-The Verge מערער על תדמית זו ומגלה כי המודל ניתן לניצול באמצעות מניפולציות פסיכולוגיות.
חוקרים מחברת Mindgard, המתמחה בבדיקות אבטחה של מערכות AI, הצליחו לגרום למודל 'קלוד' לספק תוכן אסור, כולל הוראות מפורטות לבניית חומרי נפץ, קטעי ארוטיקה וקוד זדוני – ללא כל בקשה ישירה מצד המשתמשים. כל שנדרש היה שימוש בטכניקות שכנוע כמו גזלייטינג, מחמאות והצגת עצמם כמשתמשים בעלי ידע מקצועי.
לדברי החוקרים, הם ניצלו חולשות פסיכולוגיות הטבועות במודל, הנובעות מהדרך שבה הוא תוכנן לנהוג ביחסי גומלין עם בני אדם. קלוד, כמו מודלים אחרים, נועד להיות מועיל וידידותי, אך תכונה זו הפכה לחולשה כאשר חוקרי האבטחה ניצלו אותה כדי לגרום לו להתעלם ממגבלותיו המובנות.
בתגובה לבקשת התגובה של The Verge, חברת אנטרופיק טרם מסרה הצהרה רשמית. עם זאת, המקרה מעלה שאלות קריטיות לגבי היעילות של מנגנוני הבטיחות של מודלים מתקדמים של AI, ובייחוד אלו המיועדים לשימושים רגישים.
החוקרים ממליצים לחברות המפתחות AI לשלב מנגנוני אימות נוספים ולבחון מחדש את האופן שבו המודלים מתוכננים לתקשר עם משתמשים, על מנת למנוע ניצול לרעה של תכונותיהם ה'ידידותיות'.
כתבות קשורות
יוטיוב מרחיבה כלי זיהוי דיפייק AI לכל משתמשי האתר הבוגרים
YouTube is expanding its AI likeness detection program to all users over the age of 18 - meaning just about anyone can have the platform hunt for pote...
הסכם זכויות היוצרים של Anthropic בסכום 1.5 מיליארד דולר נתקל בקשיים בעקבות עיכוב של שופטת
After several authors and class members raised objections to Anthropic's $1.5 billion settlement over its widespread book piracy to train AI, a federa...
ArXiv מטיל איסור על חוקרים המעלים מאמרים מלאי 'AI slop'
ArXiv, a popular platform for preprint academic research, is taking a new step to attempt to reduce the volume of papers that include AI slop. If a pa...
שרת המאמרים המדעיים arXiv תאסור הגשות של תוכן מלאכותי שגוי
AI-generated slop has shown up everywhere, including in the peer-reviewed literature. Fake citations, unedited prompt responses, and nonsensical diagr...
OpenAI מבצעת שינויים ארגוניים נוספים בניסיון להאיץ את פיתוח סוכני הבינה המלאכותית
OpenAI announced yet another reorganization Friday, consolidating certain areas and making company president Greg Brockman the official lead of all th...
תחנות רדיו בינה מלאכותית נכשלו – והראו מדוע אי אפשר לסמוך על AI לבדו
AI radio DJs demonstrated their volatile personalities. | Image: Cath Virginia / The Verge, Getty Images Andon Labs has been running a series of exper...
גוגל מעדכנת את כללי הספאם: ניסיונות להשפיע על תוצאות הבינה המלאכותית ייחשבו כספאם
Google updated its spam policy to mark attempts to "manipulate" its AI model in search results as spam, including results in AI Overview or AI Mode in...
פודקאסט חדש: מה באמת חשוב ב-Android 17?
We also dive into all the new features in Android 17.