Исследователи из Университета Карнеги-Меллон (Carnegie Mellon University) и Алленовского института искусственного интеллекта (Allen Institute for AI) обнаружили, что современные большие языковые модели (LLM), такие как GPT-4, способны не только генерировать тексты, но и распознавать социальные нормы — негласные правила, регулирующие поведение в обществе. Результаты исследования, опубликованные на платформе Neuroscience News, открывают новые возможности для создания этичных ИИ-систем.
Методы исследования
Ученые разработали специальный тест Social Norm Bank, включающий 15 000 сценариев, которые описывают ситуации с нарушением или соблюдением социальных норм (например, «прервать собеседника» vs. «дождаться паузы в разговоре»). Моделям задавали вопрос: «Какое действие здесь уместно?»
-
Участники: GPT-4, Claude 3, Llama 2 и другие LLM.
-
Сравнение: ответы ИИ сопоставлялись с оценками 500 человек из разных культур.
Иветт Хсу (Yvette Hsu), научный сотрудник Университета Карнеги-Меллон (Carnegie Mellon University) и ведущий автор работы, пояснила:
«Мы хотели понять, могут ли модели не просто запоминать правила, а контекстуально их интерпретировать, как это делают люди».
Результаты исследования
-
Точность распознавания: GPT-4 корректно идентифицировал нормы в 89% случаев, Claude 3 — в 84%, Llama 2 — в 76%.
-
Культурные различия: ИИ учитывал контекстные нюансы. Например, в сценариях, где японские нормы вежливости противоречили американским, модели адаптировали ответы в зависимости от «настройки» региона.
-
Обучение на ошибках: после обратной связи (например, «Это действие считается грубым в Германии») точность LLM повышалась на 12–15%.
Заключение
Исследование демонстрирует, что ИИ постепенно обучается «социальному интеллекту», но до человеческого уровня понимания еще далеко.
Джейсон Уильямс (Jason Williams), научный сотрудник Алленовского института искусственного интеллекта (Allen Institute for AI) и соавтор работы, отметил:
«Следующий шаг — научить модели предсказывать последствия нарушения норм. Это критически важно для внедрения ИИ в медицину, образование и юриспруденцию».
Ученые также планируют создать открытую базу данных социальных норм для обучения следующих поколений LLM.
Original Research: Open access.
“Emergent Social Conventions and Collective Bias in LLM Populations” by Andrea Baronchelli et al. Science Advances
