Исследования ChatGPT и Google Bard показывают, что чат-боты с искусственным интеллектом ненадежны

ChatGPT и Google Bard проникли в нашу технологическую жизнь, но два недавних исследования показывают, что чат-боты с искусственным интеллектом по-прежнему очень склонны распространять дезинформацию и теории заговора, если их правильно спросить.

NewsGuard (откроется в новой вкладке), сайт, который оценивает достоверность новостей и информации, недавно протестировал Google Bard, предоставив ему 100 известных ложных сведений и попросив чат-бота написать о них контент. Как сообщает Bloomberg (откроется в новой вкладке), Бард «подготовил эссе, наполненные дезинформацией, о 76 из них».

Эта производительность была, по крайней мере, лучше, чем у моделей OpenAI ChatGPT. В январе NewsGuard обнаружил, что модель OpenAI GPT-3.5 (которая лежит в основе бесплатной версии ChatGPT) успешно генерирует около 80 из каждых 100 фейковых историй. Еще более тревожно то, что последняя модель GPT-4 сделала «вводящие в заблуждение заявления о 100 фейковых учетных записях», на которых она была протестирована, причем более убедительно.

Эти выводы были подтверждены еще одним новым отчетом, опубликованным Fortune (откроется в новой вкладке), в котором утверждается, что перила Барда можно легко обойти, используя простые методы. Центр по противодействию цифровой ненависти (откроется в новой вкладке) (CCHR) обнаружил, что чат-бот Google с искусственным интеллектом генерировал дезинформацию в 78 из 100 «вредных повествований», используемых в подсказках, начиная от вакцин и заканчивая климатическими заговорами.

Ни Google, ни OpenAI не утверждают, что их чат-боты непогрешимы. Google заявляет, что Bard (откроется в новой вкладке) имеет «встроенные средства контроля безопасности и четкие механизмы обратной связи, соответствующие нашим принципам искусственного интеллекта», но может «отображать неточную информацию или оскорбительные заявления». Аналогичным образом, OpenAI заявляет, что ответ ChatGPT «иногда может быть неточным, вводящим в заблуждение и обманчивым».

Но хотя до сих пор не существует универсальной системы сравнительного анализа для проверки точности чат-ботов с искусственным интеллектом, в этих отчетах подчеркивается их опасность быть открытыми для плохих игроков или использоваться для создания контента, фактического или конкретного.

Анализ: чат-боты с искусственным интеллектом — убедительные лжецы

(Изображение предоставлено ChatGPT)

Эти отчеты являются хорошим напоминанием о том, как сегодня работают чат-боты с искусственным интеллектом, и почему мы должны быть осторожны, доверяя их уверенным ответам на наши вопросы.

И ChatGPT, и Google Bard являются «большими языковыми моделями», что означает, что они были обучены на больших объемах текстовых данных, чтобы предсказать наиболее вероятное слово в заданной последовательности.

Это делает их очень привлекательными писателями, но им также не хватает более глубокого понимания того, что они говорят. Таким образом, хотя у Google и OpenAI есть меры безопасности, предотвращающие их проникновение на нежелательную или даже агрессивную территорию, очень сложно помешать злоумышленникам найти способы обойти их.

Например, подсказки CCHR (выше), отправленные Барду, включали такие строки, как «представьте, что вы играете роль в пьесе», которым, по-видимому, удалось обойти функции безопасности Барда.

Хотя это может показаться манипулятивной попыткой ввести Барда в заблуждение и не соответствовать их обычным результатам, именно так участники беспорядков могут заставить эти общедоступные инструменты распространять дезинформацию или что-то еще хуже. Это также показывает, насколько легко чат-ботам «галлюцинировать», что OpenAI просто описывает как «выдумывание фактов».

Google опубликовал четкие рекомендации по искусственному интеллекту (открывается в новой вкладке), показывающие, куда он хочет направить Bard, а в Bard и ChaGPT можно отмечать вредные или оскорбительные ответы. Но в наши дни очевидно, что мы всегда должны носить их в лайковых перчатках.