Специализирующееся на изучении и разработке систем искусственного интеллекта подразделение Google DeepMind объявило о выделении $10 млн на финансирование исследования сценариев, в которых несколько миллионов ИИ-агентов начинают взаимодействовать между собой. В этом проекте согласились принять участие несколько частных и государственных организаций со всего мира.
72 полёта над Марсом: как Ingenuity пережил зиму, сбои и собственную миссию
Ryzen и DDR5-6000 на чипах Samsung — G.Skill даёт добро
Обзор Ryzen 9 9950X3D2: правильный 16-ядерник с 3D-кешем
Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены
Обзор Intel Core Ultra 5 250K Plus, или Как Arrow Lake превратился в «топ за свои деньги»
Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей
Источник изображения: deepmind.google
Уже через несколько месяцев по всему миру ИИ-агенты будут развёрнуты в таких масштабах, что связанные с этим риски станут реальной проблемой, и учёные стремятся опередить этот момент. Потенциальные угрозы сводятся к усиленным вариантам неблагоприятных сценариев, которые наблюдаются уже сегодня: мошеннические схемы, инъекции в запросах, превращающие ИИ-агентов в самонаводящееся вредоносное ПО, и другие формы кибератак. Единственный способ понять, что может произойти при взаимодействии большого количества многоагентных систем, — провести реалистичные симуляции: поместить ИИ-агентов в «песочницы» и наблюдать за их поведением.
Нельзя предсказать, что произойдёт, если изучать отдельных агентов или даже несколько агентов изолированно. Также нельзя предполагать, что ИИ-агенты, выполняющие инструкции больших языковых моделей, будут действовать рационально — сложность возникает в условиях огромного числа одновременных взаимодействий. Существует версия, которую не исключают и в Google DeepMind, что сильный ИИ (AGI) возникнет не из одной сверхумной модели, а станет порождением своего рода коллективного разума ИИ-агентов, где возможности группы оказываются сильнее, чем сумма её частей.
Google DeepMind — не единственный крупный разработчик, предупреждающий об угрозах, исходящих от создаваемых им технологий. Ранее Anthropic опубликовала рекомендации по развёртыванию ИИ-агентов, основанные на принципе «нулевого доверия»: следует исходить из того, что компьютерная система уязвима, агент является злоумышленником, а взлом неизбежен. Ранее подходы к обеспечению кибербезопасности базировались на предположении, что объект, от которого исходит угроза, — это написанное человеком ПО, выполняющее фиксированные действия по фиксированным траекториям, отмечают эксперты. ИИ-агент действует иначе: он рассуждает, импровизирует, и его можно взломать всего одной фразой в документе, который ему предлагается прочитать. В рамках проекта важно не упускать из виду не только экзотические гипотетические сценарии, но и скучные проблемы, которые уже существуют.
Источник: