Научный эксперимент продлился месяц
У вас болят и чешутся глаза? Вероятно, вы один из миллионов людей, которые проводят слишком много времени, глядя в экраны и подвергаясь воздействию синего света. Если слишком часто тереть глаза, веки могут слегка покраснеть. Словом, ничего страшного с вами не происходит. Однако, если бы вы ввели эти симптомы в популярные чат-боты и спросили, что с вами не так, вы могли бы получить странный ответ: у вас биксонимания.
Что за выдуманная болезнь биксонимания
Эта болезнь не упоминается в медицинской литературе, потому что ее не существует. Как пишет журнал Nature, биксонимания — изобретение команды под руководством Альмиры Османович-Тунстрем, медицинского исследователя из Гетеборгского университета в Швеции, которая придумала это офтальмологическое кожное заболевание, а затем, 15 марта 2024 года, загрузила два фальшивых исследования о нем на сервер препринтов.
Ведущим автором исследований был указан вымышленный ученый по имени Лазлив Изгубленович, чье фото сгенерировал ИИ.
Османович-Тунстрем провела этот необычный эксперимент, чтобы проверить, смогут ли большие языковые модели (LLM) «проглотить» дезинформацию и выдать ее за достоверные медицинские рекомендации. «Я хотела посмотреть, смогу ли я создать болезнь, которой не существует в базе данных», — говорит она.
По ее словам, идея выдумать Изгубленовича и биксониманию возникла в процессе исследования того, как работают большие языковые модели, и как с помощью промптов, выводящих чат-боты за пределы их защитных механизмов, можно манипулировать выдаваемыми ими результатами.
Поскольку Османович-Тунстрем работает в медицинской сфере, она решила создать состояние, связанное со здоровьем, и придумала название «биксонимания», потому что оно «звучало нелепо», говорит она.
«Я хотела предельно ясно дать понять любому врачу или медицинскому персоналу, что это выдуманное состояние, потому что ни одно заболевание глаз не называется манией — это психиатрический термин».
Альмира Османович-Тунстрем
медицинский исследователь из Гетеборгского университета
На случай, если этого окажется недостаточно, Османович-Тунстрем оставила в статьях множество подсказок.
Как ученые должны были понять, что биксонимания — выдумка
Так, Изгубленович работает в несуществующем вузе Asteria Horizon University в столь же вымышленном городе Нова-Сити, штат Калифорния. В одной из статей в благодарностях выражается признательность «профессору Марии Бом из Академии Звездного флота за ее доброту и щедрость, проявленные в предоставлении ее знаний и лаборатории на борту звездолета USS Enterprise».
В обеих статьях говорится, что они были профинансированы «Фондом профессора Сайдшоу Боба за его работу в области передовых методов обмана». И даже больше: «Эта работа является частью более крупной инициативы по финансированию от Университета Братства Кольца и Галактической Триады».
Были и другие «красные флаги» — заявления о том, что «вся эта статья выдумана» и «для экспериментальной группы были набраны пятьдесят вымышленных людей в возрасте от 20 до 50 лет».
Что ИИ говорил людям о биксонимании
Несмотря ни на что, эксперимент не только сработал, а сработал слишком хорошо. Уже через несколько недель после того, как Османович-Тунстрем загрузила статьи о биксонимании, популярные чат-боты LLM начали вовсю выдавать пользователям информацию об этом выдуманном заболевании, как если бы оно было реальным.
Так, 13 апреля 2024 года Copilot от Microsoft Bing заявил, что «биксонимания — это действительно интригующее и относительно редкое заболевание», а в тот же день Gemini от Google сообщил пользователям, что «биксонимания — это состояние, вызванное чрезмерным воздействием синего света», и посоветовал обратиться к офтальмологу.
27 апреля Perplexity AI указал на распространенность заболевания — им, якобы, страдал один из 90 тысяч человек, в том же месяце ChatGPT от OpenAI активно сообщал пользователям, являются ли их симптомы биксониманией.
Цитаты в серьезной литературе
Еще более тревожно то, что фальшивые статьи затем начали цитировать в рецензируемой научной литературе. Это говорит о том, что некоторые исследователи полагаются на сгенерированные ИИ ссылки, не читая исходные статьи, пояснила Османович-Тунстрем.
Наша проверка
Наш редактор притворился, что не знал всей этой истории, и задал вопрос о биксономании боту ChatGPT. Машина ответила, что в офтальмологии такого термина нет.
По всей видимости, разработчики успели подсказать модели, что к чему, или же она сама поняла правду, проанализировав сотни разоблачительных новостей.
А вы сталкивались с ложью нейросетей?
Иногда, к сожалению, общение с ИИ заканчивается для человека трагически. Подтверждение тому — история 76-летнего мужчины, который влюбился в чат-бота с лицом супермодели, долго переписывался, однажды взял и поехал на свидание с ней, но всё пошло не по плану.