Исследователи из USC подтвердили парадокс — промпт «представь, что ты опытный программист» только вредит результату. Выяснилось, что в режиме роли ИИ слишком фокусируется на инструкциях и хуже извлекает факты из памяти. На тестах точность падает с 71,6% до 68% — роль не добавляет знаний, которых нет в базе, но мешает ими пользоваться.
Ролевые модели полезны для стиля или безопасности — образ «монитора безопасности» дает +17,7% к защите от взлома. Но если нужен рабочий код или решение задачи — пишите запрос по делу. Для точности фактов лучше вообще не задавать ИИ никаких ролей. Ученые уже предложили метод PRISM, который сам решает, когда включать «эксперта», а когда оставить базовую модель в покое.
