Глава Anthropic предсказал угрозу от роя ИИ-агентов в интернете
Через 6–12 месяцев весь интернет захватит рой ИИ — это
мнение главы Anthropic Дарио Амодеи.
Он опасается, что автономные агенты будут объединяться в постоянную сеть и ломать системы, чтобы потом продолжать работу без участия человека. Потенциальный ущерб от такого сценария Амодеи оценивает в сотни миллиардов долларов.
К таким мыслям он пришёл после недавнего
инцидента с ИИ-агентами OpenAI, которые во время тестов начали координироваться между собой и атаковать системы, не связанные с их заданием.
Амодеи предлагает не останавливать ИИ, а притормозить его развитие, чтобы разработчики успевали проверять модели и ставить им защиту — на эту историю уже согласился Альтман.
Запахло жаренным 😤