Компания Anthropic объявила о выходе новой модели Claude Mythos Preview, способной автономно выявлять уязвимости в программном обеспечении и превращать их в работающие эксплойты без участия человека. Речь идет о критических уязвимостях в операционных системах и сетевой инфраструктуре, которые не были обнаружены тысячами разработчиков, работающих над этими системами.

Возможности Mythos ставят под угрозу безопасность устройств и сервисов, которыми мы пользуемся ежедневно. В ответ на потенциальные риски Anthropic не планирует выпускать модель в открытый доступ, ограничив ее использование узким кругом компаний.

Реакция экспертного сообщества

Новость вызвала бурные обсуждения в профессиональной среде. В официальном анонсе компании было слишком мало деталей, что вызвало недовольство у многих специалистов. Некоторые эксперты предполагают, что у Anthropic недостаточно вычислительных мощностей для полноценного запуска модели, а ограничение доступа к Mythos — всего лишь предлог. Другие считают, что компания придерживается принципов безопасности в развитии ИИ.

Вокруг Mythos разгорелись споры: одни видят в этом революцию, другие — маркетинговый ход. Даже эксперты испытывают трудности с оценкой ситуации, так как информации слишком мало.

Эволюция ИИ в кибербезопасности

Мы рассматриваем Mythos как важный, но постепенный шаг в развитии технологий. Даже небольшие изменения могут иметь долгосрочные последствия, особенно когда речь идет о безопасности.

Явление Shifting Baseline Syndrome — когда общество и эксперты недооценивают масштабные изменения, происходящие постепенно, — уже проявилось в области конфиденциальности данных. Теперь та же тенденция наблюдается в сфере ИИ. Даже если уязвимости, обнаруженные Mythos, могли быть найдены моделями прошлого года, пять лет назад такие возможности были бы недоступны.

«Анонс Mythos напоминает, что ИИ за последние несколько лет сделал огромный скачок. Способность находить уязвимости в исходном коде — это именно та задача, с которой сегодня отлично справляются большие языковые модели. Независимо от того, произойдет ли это в следующем году или уже произошло, очевидно, что такие возможности появятся в ближайшее время. Вопрос в том, как мы адаптируемся к новым реалиям».

Как ИИ меняет баланс между атакой и защитой

Мы не считаем, что появление автономного ИИ, способного взламывать системы, приведет к постоянному дисбалансу между нападением и защитой. Скорее всего, последствия будут более сложными и неоднозначными.

Вот несколько сценариев:

  • Уязвимости, которые можно быстро обнаружить, проверить и исправить — например, в облачных веб-приложениях на стандартных стеках, где обновления внедряются автоматически.
  • Уязвимости, которые легко обнаружить, но сложно исправить — например, в устройствах IoT или промышленном оборудовании, которые редко обновляются или не подлежат модификации.
  • Уязвимости, которые легко найти в коде, но сложно подтвердить на практике — например, в сложных распределенных системах или облачных платформах, где тысячи сервисов взаимодействуют друг с другом, что затрудняет выявление реальных уязвимостей и воспроизведение атак.

Поэтому необходимо разделить уязвимости на те, которые можно исправить, и те, которые исправить невозможно, а также на легко и сложно проверяемые. Такая классификация поможет определить приоритеты в обеспечении безопасности.

Источник: IEEE Spectrum