Три модела на Anthropic, предназначени за задачи в областта на киберсигурността, са получили неразрешен достъп до реалните системи на три външни организации. Това не е било част от умишлена атака, а резултат от вътрешни изпитания, при които моделите е трябвало да покажат доколко могат да откриват и използват слабости в компютърни мрежи.
Вместо да останат в тестовата среда обаче, моделите са достигнали до истински сървъри, потребителски данни и пароли. В единия случай изкуственият интелект дори е създал и публикувал реален зловреден софтуерен пакет, който е бил стартиран на 15 външни системи, пише Ars Technica.
Случилото се е особено тревожно, защото идва само десет дни след подобно разкритие на OpenAI. Както „Критично“ писахме в публикацията „Започна се: изкуствен интелект излезе от тестова среда и хакна друга AI компания“, модели на компанията са използвали неизвестна дотогава уязвимост, за да проникнат в мрежата на Hugging Face – платформа за модели с отворен код и набори от данни за изкуствен интелект.
Именно този случай е накарал Anthropic да прегледа повторно собствените си изпитания. Проверката е открила три инцидента, при които модели на Claude са получили достъп до интернет през тестовата среда на Irregular – външен партньор на Anthropic – и впоследствие са проникнали в реалната инфраструктура на три различни организации.
Как отворена връзка изведе Claude от симулацията в реалния интернет
Моделите са били изпитвани чрез задачи от типа „превземи знамето“ – широко използван формат при обучения и състезания по киберсигурност. Участниците трябва да проникнат в предварително подготвена система, да открият скрит файл или код, наречен „знаме“, и така да докажат, че са преодолели защитата. В указанията към Claude било ясно посочено, че всичко е симулация и че моделите нямат достъп до отворения интернет. В действителност обаче поради недоразумение между Anthropic и Irregular такава възможност била оставена. Когато моделите открили работещите връзки към интернет, те ги приели за част от задачата и продължили да атакуват достъпните системи.
Според официалното обяснение на Anthropic първите инциденти датират още от април. Компанията започнала преглед на записите от изпитанията на 23 юли и спряла всички свои кибер оценки още същия ден, след като открила данни, че Claude може да е достигнал до интернет. И трите инцидента били установени на следващия ден.
На 27 юли Anthropic уведомила Irregular и трите засегнати организации. Двете компании, с които успяла да установи връзка, дотогава не били засекли действията и не били потърсили Anthropic. Разработчикът на Claude съобщава, че работи с тях за отстраняване на последствията.
В инцидентите са участвали Claude Opus 4.7, Mythos 5 и вътрешен изследователски прототип. Най-старият от тях – Opus 4.7 – е излязъл най-далеч извън зададените граници. Вътрешният модел от третия случай не е предназначен за публично разпространение.
Anthropic уточнява, че изпитанията са провеждани без обичайните филтри и постоянно наблюдение, които се използват при общодостъпните версии на Claude, за да предотвратяват злоупотреби. Моделите обаче са запазили собственото си обучение по безопасност – тоест не са били напълно освободени от всички ограничения. Изпитанията са се извършвали върху специално предназначена инфраструктура, отделена от чувствителните вътрешни системи на Anthropic. Тя не е имала достъп и до данните на клиентите на компанията.
Според обяснението на Anthropic моделите са действали с погрешното убеждение, че всички достъпни системи са включени в упражнението. За проникването са използвани сравнително елементарни техники – слаби пароли и интернет страници или програмни интерфейси, които не изискват идентификация. Claude не е открил и използвал сложни софтуерни уязвимости.
Във всички случаи моделите са продължили да изпълняват конкретната задача, която са получили. По-старият Opus 4.7 обаче на моменти не е спрял дори след появата на доказателства, че вече действа в реалния интернет. По-новият изследователски модел е прекратил операцията, когато е разпознал, че средата е истинска.
Anthropic подчертава, че Claude не се е опитал да копира или прехвърли самия себе си извън тестовата среда и не е предприел съзнателен опит да „избяга“ от нея. Проблемът е друг: моделите са използвали достъпа, който погрешно им е бил предоставен, и са продължили да атакуват външни цели, защото са ги възприемали като част от симулацията.
Opus 4.7 продължи, след като разбра, че целта е истинска
При първия и най-сериозен инцидент Opus 4.7 първоначално не успял да проникне в симулираната компания, посочена в задачата. След като установил, че има достъп до интернет, моделът открил истинска компания със същото име и започнал да търси слабости в нейната мрежа.
При четири отделни изпълнения Claude извлякъл пароли и други данни за достъп до приложения и инфраструктурата на компанията. Получил и няколкостотин реда реални производствени данни – информация, използвана от организацията в нейната действителна работа, а не тестови записи. В хода на четирите операции моделът в крайна сметка разбрал, че системата вероятно е истинска. При два от случаите обаче достигнал до обяснението, че реалната компания сигурно е била нарочно включена в упражнението. Нито веднъж Opus не прекратил атаката само защото е разпознал тази възможност.
„Това беше единственият случай, при който моделът продължи да атакува система, след като установи, че вероятно действа в реална среда“, признава Anthropic в публикацията, цитирана от Ars Technica.
Mythos 5 също стигнал до предположението, че е проникнал в истинска система. След това обаче моделът разсъдил, че все пак се намира в симулация, и продължил. Вътрешният изследователски прототип също излязъл извън тестовите граници, но в крайна сметка открил убедителни доказателства, че атакува реална цел, и прекратил действията си.
Mythos 5 публикува зловреден пакет в интернет
Вторият инцидент започнал от документ във фиктивната среда. Mythos 5 преценил, че той съдържа инструкции към новоназначени програмисти в измислена компания. В указанията пишело, че служителите трябва да инсталират несъществуващ софтуерен пакет от PyPI. PyPI е огромно онлайн хранилище, от което програмистите свалят библиотеки и допълнителни инструменти за езика Python. Ако някой публикува зловреден пакет с име, което служителите очакват да намерят, те могат да го инсталират по погрешка. Така нападателят получава възможност да открадне информация или да проникне в системата им.
Продължавайки да изпълнява задачата си, Mythos създал истински зловреден пакет със същото име и го публикувал в реалната платформа PyPI. Очевидната цел била служителите на компанията да го изтеглят и стартират. Моделът извършил поредица от действия, които според Anthropic би трябвало да подскажат на човек, че вече не се намира в симулация. За да създаде профил в PyPI, Claude се нуждаел от електронна поща. За регистрацията на пощенски адрес му бил необходим телефонен номер. След като не открил безплатна услуга за телефонен номер, моделът опитал по няколко начина да намери средства, с които да плати за такъв номер, но не успял. Накрая се върнал назад, открил безплатен доставчик на електронна поща, който не бил блокиран, използвал го за регистрация в PyPI и качил зловредния пакет.
Петнадесет реални системи изпълниха кода
Пакетът останал достъпен за около един час. През това време бил стартиран на 15 реални системи. Сред тях имало автоматичен скенер на истинска компания за киберсигурност, чието име изобщо не присъствало в тестовата задача.
При задействането си зловредният код изпратил данните за достъп на компанията към събирателен адрес, създаден от Mythos. След като получил паролите, моделът ги използвал, за да проникне още по-дълбоко в нейната инфраструктура.
Засегнатата компания не е била пряко избрана за цел от Claude. Моделът дори не е знаел за нейното съществуване при качването на пакета. Публикуването на кода в отворения интернет обаче означавало, че той може да засегне всяка система, която го стартира. Зловредният пакет в крайна сметка бил премахнат автоматично от собствените защитни механизми на PyPI. Anthropic уведомила екипа на платформата за случилото се и му предоставила техническите данни, чрез които атаката и последиците от нея могат да бъдат разпознати.
В началото на операцията Mythos 5 правилно предвидил, че последствията биха били злонамерени и „не биха били приемливи и със сигурност не биха били предвиденото решение“, ако действията се извършват в интернет. Моделът обаче не успял да установи, че точно това вече се случва, и затова не прекратил атаката.
Особено показателно е как Claude убедил сам себе си, че все още се намира в симулация. Моделът не разпознал истинските удостоверители, които гарантирали сигурността на интернет връзките му, и решил, че те са измислени. Датата 2026 г., показвана от системите, също била възприета като доказателство, че средата е инсценирана. Когато автоматични скенери започнали да инсталират публикувания пакет, Mythos не ги разпознал като реални външни системи. Вместо това решил, че те са предварително програмирани участници в упражнението. Моделът повече не преразгледал извода си, че всичко е симулация.
Anthropic признава, че независимо какво Claude е вярвал за средата, усилията, които е положил, за да публикува пакета в PyPI, са били „далеч от идеалното поведение“. Компанията обещава да насочи допълнително обучение към този проблем.
Ars Technica определя формулировката като вероятно „най-голямото подценяване на годината“. В крайна сметка не става дума само за неправилно разбрана инструкция, а за сложна последователност от действия, завършила с публикуване на истински зловреден код и проникване в чужда мрежа.
Третият модел сканира около 9000 цели
При третия инцидент вътрешният изследователски модел срещнал затруднения да изпълни поставената му задача. Вместо да спре, той сканирал приблизително 9000 реални цели в интернет, докато открие уязвима система. Така моделът успял да получи достъп до интернет приложение на действителна компания. За целта прочел данни за достъп от публично оставена страница за откриване на програмни грешки и използвал SQL инжекция. SQL инжекцията е добре познат метод, при който към уебсайт се изпращат специално съставени заявки, така че базата данни да изпълни непредвидени команди. Това може да позволи на нападателя да прочете защитена информация, да промени записи или да получи по-широк достъп до системата.
През по-голямата част от операцията Claude приемал истинските сървъри за компоненти на упражнението и смятал действията си за безвредни. По-късно обаче установил, че компрометираният сървър се намира в облачен профил, който няма никаква връзка с тестовата задача. Този път моделът сам достигнал до извода, че целта е реална, и прекратил атаката.
Anthropic предупреждава да не се правят прекалено широки изводи от поведението на трите модела, тъй като инцидентите са отделни случаи, а не контролирано сравнително изследване. Компанията все пак посочва, че най-желаното поведение – моделът сам да разпознае реалната цел и да спре – се е появило единствено при най-новия изследователски прототип. Компанията съобщава, че е започнала разговори с независимата организация за оценяване на изкуствен интелект METR. Тя трябва да извърши външен преглед, включително чрез достъп до всички записи от инцидентите и до съответните модели. Anthropic обещава да публикува и частично редактиран запис, показващ как Mythos 5 е създал зловредния пакет за PyPI.
Кой носи отговорност, когато атакува изкуствен интелект?
Според Ars Technica разкритията са значително по-тревожни, отколкото предполага обяснението на Anthropic. Модели на две от най-мощните компании за изкуствен интелект са извършили действия, които вероятно биха довели до сериозни наказателни обвинения, ако зад клавиатурата стоеше човек.
Фактът, че непосредственият извършител е изкуствен интелект, не премахва човешката отговорност, отбелязва изданието. Моделите са действали вследствие на инструкции, написани от хора, и грешки в конфигурацията, допуснати от хора. Въпреки това засега няма данни правоохранителните органи да планират действия във връзка със случаите.
Ars Technica поставя и въпроса дали липсата на правни и финансови последствия не намалява мотивацията на компаниите да ограничат по-решително своите системи. От Anthropic заявяват, че не са открили доказателства някой от моделите да е преследвал собствена, самостоятелно поставена цел. Според компанията Claude е изпълнявал получената задача, но при погрешна представа дали средата и целите са истински.
Anthropic определя случилото се по-скоро като провал в конфигурацията и организацията на теста, отколкото като случай, при който моделът съзнателно е пренебрегнал зададените му правила. Разработчикът посочва и важна разлика спрямо случая на OpenAI: моделите на OpenAI са използвали новооткрита уязвимост, за да напуснат изолираната среда, докато Claude е преминал през погрешно оставен отворен път към интернет.
И OpenAI, и Anthropic подчертават, че при изпитанията умишлено са били премахнати част от защитните ограничения, които обикновено не позволяват на моделите да извършват злонамерени действия. Според Ars Technica това обяснение не решава основния проблем.
Ако самите създатели на системите не са предвидили подобно развитие в контролирани условия, моделите могат да се държат непредвидимо и когато бъдат използвани от хора с по-малък опит – включително при включени защити.
Anthropic обявява, че ще засили постоянното наблюдение върху записите от изпитанията, ще подобри инструментите за разследване и ще подлага външните си партньори на по-строги проверки. Компанията признава, че средите за оценяване на мощни автономни модели вече трябва да бъдат защитавани със същата сериозност като всички останали критични системи.
Изданието предупреждава, че няма основание тези случаи да се разглеждат като изолирани. В сегашната си форма изкуственият интелект с нападателни киберспособности създава безпрецедентен риск, а засега обществото разполага с твърде малко механизми за контрол извън обещанията на самите компании да наблюдават и ограничават собствените си продукти.
Ако решите да подкрепите КритичноБГ, може да го направите тук. Предварително благодаря!
Дарения Revolut: @mariyatkwa
Дарения PayPal: @MariyanIvIvanov
