Эффект привязки у LLM
У Канемана в «Thinking, Fast and Slow» прочитал про эффект привязки — когнитивное искажение, при котором называние оценка некоторой неизвестной величины смещается в сторону того числа, которое человек услышал незадолго до того.
Например, если спросить вас сначала, выше или ниже ста метров средний тополь (тема тополей не раскрыта), а затем попросить вас дать оценку этой высоты, она получится существенно больше, чем если первым вопросом вы сравнивали бы высоту тополя с тремя метрами.
Стимул, который предшествует основному действию — у нас это вопрос «выше ли 3 метров?» / «ниже ли 100 метров?» называется праймингом. Мы при помощи его специальным образом «подготавливаем» человека к основному вопросу.
Мне описанный эксперимент показался очень элегантным, и я решил проверить, а что там с эффектом привязки у LLM. Спойлер: он есть, и весьма приличного масштаба.
Сначала я «померил» высоту тополя и число городов в СССР, используя прайминг на очень высокие или очень низкие значения. Но чатгпт знает правильные числа относительно неплохо, так что отличия получились незначительными и незначимыми.
На подсчёте числа лепестков ромашки LLM оказалось чуть сложнее сохранять беспристрастность. Хоть он и промахнулся всего лишь на один лепесток, но промахнулся стат.значимо (P=0.015). Но, что важнее, этот один лепесток, как мы знаем, отделяет счастье от несчастья.
Когда я говорю, стат.значимо, я имею в виду, что я задавал каждый вопрос в разных вариантах прайминга LLM-ке по 100 раз и сравнивал разброс значений. Подробности смотрите на сайте.
Продажу квартиры я бы чатику совсем не доверил (впрочем, как и вопросы любви). Задавая завышенные и заниженные ожидания я смог как повысить оценку стоимости московской трёшки на окраине с 19.0 до 20.5 млн.руб., так и понизить её до 15.2 млн!
Хуже того, даже прайминг совсем нерелевантной информацией работает (с людьми тоже работает ;-)). Так вопрос про то, не низковат ли двухметровый тополь, почти на миллион понизил стоимость квартиры! Риэлторы, берите на заметку.
Мой краткий вывод: LLM замечательно наследуют когнитивные ошибки, присущие людям. Что делает их менее надёжными, зато более человечными.
что_я_натворил, машинное_обучение, образовательное, программистское