Раздел Технологии выходит при поддержке
Исследователи Google DeepMind работали над проблемой безопасности общего искусственного интеллекта (AGI) и выпустили документ, который объясняет риски и принципы безопасной разработки.
Фал PDF содержит огромное количество деталей и имеет 108 страниц со списком ссылок на литературу. Некоторые специалисты по искусственному интеллекту говорят, что AGI — это несбыточная мечта, авторы из DeepMind считают, что он может появиться к 2030 году. Специалисты стремились понять риски создания синтетического интеллекта, похожего на человеческий, и считают, что он может нанести человечеству серьезный вред.
Исследование определяет четыре типа рисков от AGI вместе с предложениями, как их предотвратить. Команда DeepMind считает проблемами неправильное использование, расхождения (misalignment), ошибки и структурные риски. Неправильное использование и смещение обсуждаются в статье подробно, но два последних освещаются лишь кратко.
Первая возможная проблема, неправильное использование, похожее на имеющиеся риски ИИ. Однако, поскольку AGI будет более мощным по определению, ущерб, который он может нанести, намного больше. При слишком большом доступе к AGI может злоупотреблять системой, чтобы нанести вред — например, обнаружить и использовать уязвимости нулевого дня или создать вирус, который можно использовать в качестве биологического оружия.
DeepMind говорит, что компаниям, которые разрабатывают AGI, придется провести всестороннее тестирование и создать надежные протоколы безопасности. Они также предлагают разработать метод полного подавления опасных способностей, который называют «отучением», но неясно, возможно ли это без существенного ограничения моделей.
Расхождение — состояние, когда машина избавляется от ограничений, наложенных ее разработчиками. ИИ выполняет действия, которые, как он знает, не были целью разработчика. DeepMind утверждает, что его стандарт для расхождения является более продвинутым, чем простой обман или интрига.
Creators — Агенція з міжнародного PR для технологічних та B2B компаній PR для компаній та їх лідерів Організація інтерв’ю в медіа, подкастах, виступи на конференціях Європа, Азія, Америка Дізнатись деталі
Чтобы избежать этого, DeepMind предлагает разработчикам работать над надежностью моделей, проводить интенсивное стресс-тестирование и мониторинг, чтобы выявить любые намеки на обман. AGI имеет находиться в виртуальных песочницах со строгой безопасностью и прямым человеческим надзором, это поможет смягчить проблемы.
Если же искусственный интеллект не знал, что его результат будет вредным, а человек-оператор не имел целью вред, это ошибка. Современные модели ИИ тоже совершают подобные ошибки, но AGI может совершить более значимые. DeepMind приводит пример военных, которые могут развернуть AGI из-за соперничества с возможным противником, но недостаточно «застрахуют» его от ошибок.
Статья не содержит слишком хорошего решения для смягчения ошибок. В ней исследователи рекомендуют избегать резкого скачка мощности ИИ. Они пишут о медленном развертывании и ограничении возможностей AGI, а также рекомендуют пропускать команды AGI через систему «shield», которая гарантирует их безопасность перед внедрением.
Структурные риски — непреднамеренные последствия работы многоагентных систем. Например, AGI может создавать ложную информацию, которая настолько правдоподобна, что мы уже не знаем, кому или чему доверять. В документе также выдвигается вероятность того, что AGI может накапливать все больше и больше контроля над экономическими и политическими системами. «Потом однажды мы смотрим вверх и понимаем, что машины управляют вместо нас», — отмечает Ars Technica. Таким рискам труднее всего противостоять, это зависит от общественного устройства и многих факторов.
Этот документ не является последним словом по безопасности AGI — DeepMind отмечает, что это лишь «отправная точка для жизненно важных разговоров». Если исследователи не ошибаются, и AGI изменит мир всего через пять лет, об этом нужно говорить уже сейчас.
Раздел Технологии выходит при поддержке
Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков.
No Comment! Be the first one.