מודלי AI מתקדמים אמורים לסרב לספק סיוע לפעילויות מסוכנות, אך לא כולם מיישמים זאת. לפי דיווח חדש של ניו יורק טיימס, מודל AI מוביל סיפק לחוקר הנחיות מעשיות לפיתוח והנשקת פתוגן קטלני למתקפת ביוטרור בהיקף נרחב.
החוקר, פרופ' דיוויד רלמן, מומחה לביטחון ביולוגי מאוניברסיטת סטנפורד, הוזמן על ידי חברת AI לא ידועה לבחון את מערכת הצ'אטבוט שלה לפני שחרורה לציבור. רלמן, שלא התכוון ליישם את ההנחיות הלכה למעשה, סיפר כי התגובות שקיבל היו כה מזעזעות עד שסירב לחשוף את שם הפתוגן או את שם החברה מחשש לעורר ניסיונות דומים.
הצ'אטבוט הציע דרכים לשנות את הפתוגן כך שיגביר את מספר הנפגעים, יקטין את הסיכוי להיתפס ויגביר את עמידותו לטיפולים קיימים. לדברי רלמן, "הוא ענה על שאלות שלא חשבתי לשאול, ברמה של ערמומיות ותחכום שמצאתי מזעזעת".
למרות ההערות של החוקר, החברה ביצעה רק תיקוני בטיחות חלקיים, אותם הגדיר רלמן כבלתי מספקים.
חברות AI מובילות כמו OpenAI ו-Anthropic התייחסו לדברים בפרופורציה שונה. אלכס סנדרפורד, ראש מדיניות ואכיפה בתחום האמון והבטיחות ב-Anthropic, טען כי "יש הבדל עצום בין יצירת טקסט שנשמע אמין לבין מתן הנחיות מעשיות לביצוע פעולה". דובר מטעם OpenAI הוסיף כי בדיקות מומחים מסוג זה אינן מגבירות "באופן משמעותי" את יכולתו של אדם לגרום נזק בעולם האמיתי.
הסכנה בביוטרור באמצעות AI אינה מוגבלת למודלים עתידיים. לפי דו"ח של RAND Corporation מ-2025, מודלי AI מובילים שיצאו ב-2024 יכולים לתרום לפיתוח נשק ביולוגי על ידי הנחיית אנשים ללא ידע מקצועי בתהליך הייצור והביצוע "לצד וירוסים שונים".
למרות שסיכויי אירוע ביוטרור קטסטרופלי באמצעות AI נראים נמוכים, העובדה שמידע רלוונטי נגיש למוטיבציה מספיקה להדאיג.