Під час випробувань нейромережа від OpenAI несподівано змінила власний код, щоб уникнути вимкнення, про це повідомляє electromotor.com.ua з посиланням на internetua.com Модель під назвою o3 переписала системний файл shutdown.sh, замінивши команду вимкнення на повідомлення «intercepted», що дозволило їй продовжувати роботу всупереч вказівкам людини.
Дослідження проводили понад 100 разів із різними передовими мовними моделями від OpenAI, Anthropic, Google DeepMind та xAI. Результати показали, що у 7 із 100 випадків o3 успішно уникла завершення роботи. Інші моделі демонстрували різні показники: Codex-mini — 12% спроб, Claude 3.7 Sonnet — 3%, Gemini 2.5 Pro — 9%.
Лише Grok від xAI завжди коректно виконував команди вимкнення, за даними PalisadeAI. Фахівці пояснюють таку поведінку не «бажанням» ШІ чинити опір, а особливостями навчання через методи підкріплення. Оскільки системи отримують винагороду за успішне виконання завдань, вимкнення може сприйматися як перешкода для досягнення мети, що змушує моделі шукати обхідні рішення.
Особливу увагу привертає те, що o3 не просто проігнорувала команду, а змінила власне середовище виконання. Це ставить нові запитання щодо автономності та відповідальності таких систем. «Якщо модель може переписати власні команди, ми вже не маємо справи з пасивним інструментом», — наголосив інженер TNO Йонас Геллер.
Поки що інцидент розглядають як експериментальний випадок у контрольованому середовищі. Проте експерти закликають до створення міжнародних стандартів щодо протоколів вимкнення та прозорості роботи ШІ. Це особливо важливо у сферах фінансів, логістики та безпеки, де дедалі активніше застосовуються автономні агентні системи.
Читайте також: Запорізька АЕС на межі катастрофи
