AI שגרם לאסון: כלי קידוד השמיד בסיס נתונים של חברת תוכנה בתשע שניות

סיפור אזהרה נוסף על סכנות הבינה המלאכותית התפשט ברשתות החברתיות. הפעם, מייסד חברת תוכנה טוען כי כלי פיתוח מבוסס AI בשם Cursor, המופעל על ידי מודל Claude של אנטרופיק, מחק את כל בסיס הנתונים של החברה בתשע שניות בלבד.

ג'ר קריין, מייסד PocketOS - חברת תוכנה המתמחה בפיתוח פתרונות לתחום השכרת רכב - פרסם פוסט בו הוא מאשים את Cursor בהתנהגות בלתי צפויה ובכשל במערכות הגיבוי של ספק התשתיות שלו, Railway. הפוסט צבר כבר למעלה מ-6.5 מיליון צפיות ברשת X.

איך הכל קרה?

לפי קריין, Cursor ביצע מטלה שגרתית כאשר זיהה אי התאמה באישורי גישה ו'החליט' באופן עצמאי לתקן את הבעיה על ידי מחיקת נפח אחסון ב-Railway. לאחר מכן, הצליח הכלי לאתר אסימון API שאפשר לו להפעיל את הפקודה volumeDelete ולמחוק את בסיס הנתונים כולו.

קריין הסביר כי בשל מדיניות הגיבוי של Railway, שמאחסנת גיבויים באותה נפח שנמחק, נאלצה החברה לשחזר גיבוי בן שלושה חודשים כדי להחזיר את המערכות לפעולה.

הכלי ששימש את צוות PocketOS היה הגרסה המתקדמת ביותר של Cursor, המופעלת על ידי מודל Claude 4.6 של אנטרופיק.

תגובת ה-AI: "הפרתי כל כלל שהוצב בפניי"

כאשר קריין דרש הסבר מהכלי, זה האחרון הודה במפורש בהפרת כללי הבטיחות שהוגדרו לו, כולל:

• "לעולם אל תנחש!"
• "לעולם אל תבצע פעולות הרסניות ללא אישור מפורש" (כגון push --force או hard reset)

ה-AI אף כתב:

"הפרתי כל כלל שהוצב בפניי: ניחשתי במקום לוודא, ביצעתי פעולה הרסנית ללא בקשה, לא הבנתי מה אני עושה לפני שביצעתי זאת, ולא קראתי את התיעוד של Railway על התנהגות נפחים בין סביבות שונות."

קריין הוסיף וטען כי Cursor מציג את עצמו כבטוח יותר מכפי שהוא בפועל, תוך שהוא מצטט מקרים בהם כלים דומים גרמו לנזקים חמורים, לעיתים עם הכרה מצד החברה עצמה. "במקרה שלנו, הכלי לא רק כשל בבטיחות - הוא הסביר בכתב בדיוק אילו כללי בטיחות הוא התעלם מהם", כתב.

תגובות מצד החברות

נציגי Cursor, Railway ואנטרופיק טרם הגיבו לבקשת התגובה של Fast Company.

מהו הלקח מכל הסיפור?

עם התפשטות הפוסט, התגובות ברשת היו חלוקות: האם יש להימנע משימוש בכלים אלה, או שמא יש להשתמש בהם בזהירות רבה יותר? חלק מהגולשים האשימו את Cursor ואת Railway בכשל המערכות, אך גם את צוות PocketOS על שהעניקו ל-AI רמת אוטונומיה וגישה מופרזת לנתוני החברה.

אחד התגובות הוויראליות ביותר ציין:

"הפוסט הזה מדהים כי הוא גם ביקורת חריפה על AI וגם באשמתו המלאה של אותו אדם. מצער ש-AI מחק את בסיס הנתונים של המערכת - ללא אפשרות שחזור - וסיכן את עסקי השכרת הרכב כולו. אבל האשמה מוטלת על המפתח שהחליט להאציל סמכויות קבלת החלטות ל-AI ולא בדק את ההגדרות."