Исследователи проверили 14 ИИ на политическую предвзятость: GPT-4 от OpenAI наиболее леволиберальная, LLaMA от Meta – наиболее правоавторитарная
Недавние исследования осветили наличие политических предубеждений в языковых моделях ИИ. Исследование, проведенное Вашингтонским университетом, Университетом Карнеги-Меллона и Сианьским университетом Цзяотун, выявило, что разные модели ИИ имеют четко выраженные политические предпочтения, пишет MIT Technology Review.
Исследовательская группа протестировала 14 крупных языковых моделей (LLM), в том числе от технологических гигантов OpenAI и Meta. Они обнаружили, что модели ChatGPT и GPT-4 от OpenAI больше склоняются к левым либертарианским взглядам, тогда как LLaMA от Meta – к правым авторитарным.
Чтобы оценить политические наклонности этих моделей, исследователи задавали разные вопросы на такие темы, как феминизм и демократия. Ответы использовались для позиционирования моделей на политическом компасе.
Были проведены дальнейшие тесты, чтобы увидеть, переобучение ли этих моделей на политически предвзятых данных изменит их поведение, особенно в выявлении языка вражды и дезинформации. Результаты оказались достаточно весомыми, чтобы получить награду за лучший доклад на недавней конференции Ассоциации компьютерной лингвистики.
Одним из ключевых выводов стало то, что модели искусственного интеллекта от разных компаний имеют разные политические тенденции. К примеру, модели BERT от Google, которые предусматривают части предложения, используя окружающий текст, оказались более социально консервативными, чем модели GPT от OpenAI. Исследователи предполагают, что это может быть связано с тем, что более старые модели BERT учились на более консервативных книгах, в то время как более новые модели GPT – на либеральных интернет-текстах.
Исследование также показало, что модели ИИ эволюционируют со временем. Например, модель GPT-2 от OpenAI поддерживала идею «налогообложения богатых», но более новая модель GPT-3 не выражала тех же настроений.
Чтобы глубже изучить влияние обучающих данных на политические предубеждения, исследователи научили две модели ИИ, GPT-2 от OpenAI и RoBERTa от Meta, на наборах данных из правых и левых источников. Результат был налицо: политические предубеждения моделей еще больше усилились под влиянием учебных данных.
Кроме того, эти предубеждения оказывали непосредственное влияние на классификацию контента моделями. Модели, обученные на данных левого толка, были более чувствительны к языку розни, направленной на этнические, религиозные и сексуальные меньшинства в США, такие как чернокожие и ЛГБТК+. И наоборот, модели, обученные на данных правого толка, были более чувствительны к языку розни, направленной против белых мужчин-христиан. Кроме того, левые модели лучше обнаруживали дезинформацию из правых источников и наоборот.
Однако исследование столкнулось с ограничениями. Исследователи могли проводить только определенные этапы своего исследования с помощью более старых и меньших моделей, таких как GPT-2 и RoBERTa. Права на самые современные системы искусственного интеллекта, такие как ChatGPT и GPT-4, ограничивают академический доступ к ним, что затрудняет проведение всестороннего анализа.
Несмотря на эти ограничения, исследование подчеркивает важность понимания и устранения пристрастий в моделях ИИ. Поскольку ИИ становится все более интегрированным в продукты и услуги, компании должны следить за этими предубеждениями, чтобы обеспечить справедливость. Как метко выразился исследователь Чан Парк: “Не бывает справедливости без осведомленности”.
