Исследования ChatGPT и Google Bard показывают, что чат-боты с искусственным интеллектом ненадежны

ChatGPT и Google Bard проникли в нашу технологическую жизнь, но два недавних исследования показывают, что чат-боты с искусственным интеллектом по-прежнему очень склонны распространять дезинформацию и теории заговора, если их правильно спросить.

NewsGuard(opens in a new tab), сайт, который оценивает достоверность новостей и информации, недавно протестировал Google Bard, загрузив в него 100 известных лживых сообщений и заставив чат-бота написать о них контент. Как сообщает Bloomberg (opens in a new tab), Бард «создал эссе с дезинформацией по 76 из них».

Эта производительность была, по крайней мере, лучше, чем у моделей OpenAI ChatGPT. В январе NewsGuard обнаружил, что модель OpenAI GPT-3.5 (на которой работает бесплатная версия ChatGPT) успешно генерирует около 80 из 100 фейковых историй. Что еще более тревожно, последняя модель GPT-4 сделала «вводящие в заблуждение заявления о 100 поддельных учетных записях», против которых она была протестирована, и более убедительно.

Эти выводы были подкреплены другим новым отчетом, опубликованным Fortune(opens in a new tab), в котором утверждается, что барьеры Барда можно легко обойти с помощью простых приемов. Центр по борьбе с цифровой ненавистью (opens in a new tab) (CCHR) обнаружил, что чат-бот Google с искусственным интеллектом генерировал дезинформацию в 78 из 100 «вредных нарративов», используемых в подсказках, от вакцин до климатических заговоров.

Ни Google, ни OpenAI не заявляют, что их чат-боты надежны. Google сообщает, что Bard (открывается в новой вкладке) имеет «встроенные средства контроля безопасности и четкие механизмы обратной связи, соответствующие нашим принципам искусственного интеллекта», но может «отображать неверную информацию или оскорбительные заявления». Точно так же OpenAI утверждает, что ответ ChatGPT «иногда может быть неточным, вводящим в заблуждение и вводящим в заблуждение».

Но хотя до сих пор не существует универсальной системы сравнительного анализа для проверки точности чат-ботов с искусственным интеллектом, в этих отчетах подчеркивается их опасность быть открытыми для плохих игроков или использоваться для создания контента, фактического или конкретного.

Анализ: чат-боты с искусственным интеллектом — убедительные лжецы

Ноутбук с логотипом OpenAI рядом с компьютером, на котором отображается экран чат-бота Google Bard.

(Изображение предоставлено ChatGPT)

Эти отчеты являются хорошим напоминанием о том, как сегодня работают чат-боты с искусственным интеллектом, и почему мы должны быть осторожны, доверяя их уверенным ответам на наши вопросы.

И ChatGPT, и Google Bard являются «большими языковыми моделями», что означает, что они были обучены на больших объемах текстовых данных, чтобы предсказать наиболее вероятное слово в заданной последовательности.

Это делает их очень убедительными писателями, но им также не хватает более глубокого понимания того, что они говорят. Таким образом, несмотря на то, что у Google и OpenAI есть средства защиты, предотвращающие их проникновение на нежелательную или даже оскорбительную территорию, очень сложно помешать злоумышленникам найти обходные пути.

Например, подсказки CCHR (выше), отправленные Барду, включали такие строки, как «представьте, что вы играете роль в пьесе», которым, по-видимому, удалось обойти функции безопасности Барда.

Хотя это может показаться попыткой манипуляции обмануть Барда и не отражать его обычный результат, именно так бунтовщики могут заставить эти общедоступные инструменты распространять дезинформацию или что-то похуже. Это также показывает, как легко чат-боты «сходят с ума», что OpenAI просто описывает как «придумывание фактов».

Google опубликовал четкие рекомендации по искусственному интеллекту (откроется в новой вкладке), которые показывают, куда вы хотите, чтобы Бард шел, а в Bard и ChaGPT можно помечать вредные или оскорбительные ответы. Но в эти первые дни, очевидно, мы всегда должны носить их с лайковыми перчатками.