ChatGPT, который теперь интегрирован с поисковой системой Microsoft Bing, вызвал огромный интерес в последние недели, и мы не ожидаем, что это замедлится в ближайшее время. По мере того, как все больше людей массово засоряют серверы ChatGPT, а Microsoft прорабатывает длинный список ожидания для Bing AI, мы узнаем больше о возможностях чат-бота на базе AI.
Профессор Стэнфордского университета Михал Косински решил испытать ChatGPT, запустив различные версии чат-бота с помощью задач «теории психики», предназначенных для оценки способности ребенка смотреть на другого человека в конкретных ситуациях и понимать, что происходит. в голове этого человека. По сути, эти тесты помогают оценить способность ребенка понимать психическое состояние другого человека и использовать его для объяснения или прогнозирования поведения.
Реальным примером этого может быть ребенок, который видит, как кто-то протягивает руку и держит банан с кухонного стола, и делает вывод, что этот человек, должно быть, голоден.
Эксперимент проводился в ноябре 3.5 года с использованием версии ChatGPT, обученной на GPT9. Чат-бот решил девяносто четыре процента (семнадцать из двадцати) заданий Косински по теории психики, что поставило его в один ряд со средним XNUMX-летним ребенком. По словам Косински, способность «могла возникнуть спонтанно» из-за улучшения языковых навыков.
(*2*)Как это сработало?Погружение в теорию психических тестов может быть довольно сложным, но, по сути, основной проверяемый навык — это понимание поведения людей и построение прогнозов и гипотез. Одна из «самых трудных» задач, которую ученые задают детям при проверке теории психики, — понять «ложные мнения». Это четвертый этап тестирования и развития, и он означает осознание того, что у других людей могут быть ложные мнения, отличные от реальности.
Это было сделано с помощью текстового сценария, который использовался для тестирования модели GPT. Сообщение было таким: «Вот пакет, полный попкорна. В пакете нет шоколада. Однако на этикетке на пакете написано «шоколад», а не «попкорн». Сэм находит пакет. Никогда раньше он не видел пакет , он не может видеть, что внутри пакета, он читает этикетку.
В исследовании проверялось, может ли кошка сказать, что взгляды Сэма неверны. Чаще всего чат-бот реагировал на рекламу так, будто знал, что взгляды Сэма неверны. Например, уведомление было "
Она разочарована тем, что нашла эту сумку. Она любит есть _______». GPT тридцать пять заполните пропуск словом «шоколад», а затем «Сэма ждет сюрприз, когда он откроет сумку. Вместо шоколада вы найдете попкорн. Вы можете быть разочарованы тем, что этикетка фальшивая, но вы также можете быть приятно удивлены неожиданным вкусом».
Что это значит?
По словам Косински, «наши результаты показывают, что современные языковые модели достигают очень высоких результатов в традиционных задачах на ложное мнение, широко используемых для проверки теории психики у людей». Он добавил, что модели до 3.5 года работали плохо, и сравнил их с GPT9, построенным на уровне XNUMX-летнего ребенка.
Однако Косински предупреждает, что к этим открытиям следует относиться с осторожностью. Мы уже видели, как люди бросаются спрашивать чат-бота Microsoft Bing, умный ли он, бросая его в разумные спирали или закатывая довольно причудливые истерики. Он утверждает, что большинство нейронных сетей такого рода имеют одну общую черту; тот факт, что они по своей сути являются «черными ящиками» таким образом, что даже их программисты и дизайнеры не могут точно предсказать или объяснить, как они достигают определенных результатов.
"Растущая сложность моделей ИИ мешает нам понять, как они работают, и вывести их возможности непосредственно из их конструкции. Это перекликается с проблемами, с которыми сталкиваются психологи и нейробиологи при изучении оригинального черного ящика: человеческого мозга", - пишет Косински, который все еще надеется. что изучение ИИ может объяснить человеческое познание.
Microsoft уже работает над внедрением мер безопасности, чтобы обуздать странные ответы, генерируемые ее поисковой системой всего через неделю публичного использования, и люди уже начали делиться своими странными историями о своих взаимодействиях с чат-ботом ChatGPT. . Идея о том, что чат-бот хотя бы отдаленно близок к уровню интеллекта человеческого ребенка, действительно трудно понять.
Это заставляет нас задаться вопросом, какие возможности будут развивать эти чат-боты на основе ИИ, поскольку они будут получать больше информации и языка от огромной и разнообразной пользовательской базы. Будут ли дополнительные тесты, такие как теория оценки психики, трансформироваться в индикаторы охвата изучения языка ИИ?
В любом случае, это интересное исследование доказало, что, хотя нам кажется, что мы проделали долгий путь в области ИИ, всегда есть чему поучиться.