Создатели нейросети Claude всерьез обеспокоились тем, как быстро их детище учится писать код без помощи человека. В Anthropic подсчитали, что за прошлый месяц их собственный ИИ-агент сгенерировал больше 80% всего нового софта компании. Теперь разработчики призывают коллег по цеху подготовить механизм экстренного торможения.
Бесконтрольное самосовершенствование машин грозит потерей контроля, особенно если алгоритмы начнут самостоятельно плодить еще более умных преемников. Авторы идеи признают, что в одиночку притормозить прогресс не выйдет. Нужны общие правила и надзор, иначе отдельные безответственные игроки могут подставить весь мир 🛑
