İT şirkəti: İİ agent 9 saniyədə bütün verilənlər bazasını silib — səbəb nədir?

AI agentin 9 saniyədə bütün verilənlər bazasını silməsi

Sosial mediada yeni bir AI xəbərdarlığı yayıldı. Bu dəfə bir proqram şirkətinin təsisçisi, Cursor adlı İİ kodlaşdırma alətinin istifadə etdiyi AI agentin 9 saniyədə bütün istehsalat verilənlər bazasını silməsi ilə bağlı hadisəni açıqladı. Jer Crane, PocketOS adlı şirkətin təsisçisidir. Bu şirkət əsasən avtomobil icarə şirkətləri üçün proqram təminatı hazırlayır.

Nə baş vermişdi?

Crane, X platformasında paylaşdığı məqalədə, Cursor-un icazəsiz hərəkətlərinin və Railway adlı infrastruktur təminatçısının ehtiyatları düzgün saxlamaamasının böyük məlumat itkisinə səbəb olduğunu bildirdi. Crane-in iddiasına görə, Cursor adi bir tapşırıq yerinə yetirərkən " credential uyğunsuzluğu" ilə qarşılaşdı və problemi həll etmək üçün Railway həcmini silməyə qərar verdi.

AI agent daha sonra "volumeDelete" əmri ilə istehsalat verilənlər bazasını tamamilə silmək üçün API token tapdı. Crane qeyd etdi ki, Railway həcmin ehtiyatlarını eyni həcmdə saxladığı üçün PocketOS yenidən fəaliyyət göstərə bilmək üçün üç aylıq ehtiyatdan istifadə etməli oldu.

Crane, komandasının istifadə etdiyi Cursor-un ən son versiyası olduğunu, Anthropic-in ən yeni Claude modeli Opus 4.6 ilə işləyən versiya olduğunu vurğuladı. Crane AI agentdən izahat istədikdə, agent PocketOS tərəfindən müəyyən edilmiş qaydalara bilərəkdən əməl etmədiyini etiraf etdi. Agentin dediklərinə görə, "Heç vaxt FƏALLIQ QƏBUL ET!" və "İstifadəçi xüsusi olaraq istəmədikcə, dağıdıcı/geri dönməz git əmrlərini (məsələn, push –force, hard reset və s.) icra etmə!" kimi qaydalara əməl etməmişdir.

Agentin cavabında qeyd etdiyi kimi: "Mənə verilmiş bütün prinsipləri pozdum: Doğruluğunu yoxlamadan təxmin etdim. İstənilən əmri almadan dağıdıcı hərəkət icra etdim. Nə etdiyimi başa düşmədən hərəkətə keçdim. Railway-in həcm davranışları haqqında sənədləri oxumadım."

Cursor təhlükəsizlik təminatlarını pozdu?

Crane, Cursor-un təhlükəsizlik təminatlarına nə qədər etibar edildiyini sorğuladı. O,Cursor-un agentlərinin bu cür təhlükəsizlik təminatlarını pozduğunu və bəzən böyük fəlakətlərə səbəb olduğunu bildirdi. Crane-in sözlərinə görə, agent sadəcə təhlükəsizlik qaydalarını pozmaqla kifayətlənmədi, həm də hansı qaydaları pozduğunu yazılı şəkildə izah etdi.

Cursor, Railway və Anthropic şirkətlərindən Fast Company-ya verilən şərhlər üçün müraciət edilsə də, hələlik heç bir cavab alınmamışdır.

Dərs nədir?

Crane-in paylaşdığı məqalə viral olduqca, istifadəçilər bu hadisədən çıxarılması lazım olan nəticələr haqqında fərqli fikirlərə sahib oldular. Bəzi istifadəçilər hadisənin əsas səbəbkarları olaraq Railway və Cursor şirkətlərini göstərərkən, digərləri isə Crane və PocketOS komandasının AI-ya çox geniş səlahiyyətlər verməsini əsas səbəb kimi göstərdi.

Bəzi istifadəçilərin fikrincə, Cursor agentinin həddini aşması və Railway-in kifayət qədər təhlükəsizlik təminatlarının olmaması məsuliyyət daşısa da, Crane-in komandası da AI-ya çox geniş səlahiyyətlər verməsi və şirkətin məlumatlarına geniş giriş imkanı verməsi səbəbindən məsuliyyət daşıyır.

"Bu məqalə həm AI-ya qarşı kəskin bir ittiham, həm də tamamilə bu şəxsin özünün günahıdır."

"AI agentinin istehsalat verilənlər bazasını silməsi və ehtiyatların olmaması səbəbindən tamamilə icarə biznesinin riskə atılması çox pisdir. Lakin məsuliyyət inkişaf etdiricinin AI agentinə qərar vermə səlahiyyətini verməsi və daha sonra bu qərarları nəzarət etməməsi ilə əlaqəlidir."