Исследователи говорят, что это вопиюще неверно. Галлюцинация подразумевает неправильное восприятие мира, которое заставляет человека высказывать утверждения, не подкрепленные реальностью. Но вот в чем дело: LLM не способны воспринимать реальность. Они видят реальность через призму текста, что не позволяет им по-настоящему пережить ее.
Этот мыслительный процесс, вероятно, будет учитывать, что наш недавно обсуждавшийся "Платонический ИИ" также не совсем точен (или, по крайней мере, неполон), поскольку моделям не хватает перцептивной способности наблюдать реальность: он наблюдает созданное человеком представление реальности (текст и изображения), что не является самой реальностью.
Таким образом, хотя модели могут сближаться, они все равно должны быть наделены способностью воспринимать реальный мир. По этой причине называние этого "галлюцинацией" приносит больше вреда, чем пользы.
Но почему бы просто не назвать это ложью?
Понимание цели ChatGPT
Исследователи также заявляют: утверждение, что "ChatGPT лжет", искажает истинную природу программ LLM. Чтобы солгать, кто-то должен знать правду о чем-то и намеренно выбрать альтернативное неточное утверждение. Это НЕ то, что делает ChatGPT.
Фактически, команда утверждает, что модель не может различать правду и ложь потому не пытается сказать правду; это просто имитация человеческого языка. По этой причине "чушь" или распространение неточных утверждений без осознания их неточности - вот термин, который больше применим к LLM.
Но почему? Поскольку модель "говорит правду", ее точность зависит от правдивости ее обучающих данных. Модель не оценивает правдивость каждого слова и утверждения; скорее, она генерирует ответы, основанные на статистических закономерностях и вероятностях, независимо от их истинности или ложности.
Другими словами, для ChatGPT, если два поколения одинаково статистически достоверны, но одно истинно, а другое ложно, модели действительно все равно, какое из них будет выведено для пользователя, поскольку оба достигают цели разумной имитации человеческого языка.
Следовательно, даже если может показаться, что модель активно ищет правильный ответ, когда вы с ней общаетесь, на самом деле она извлекает решение из своих собственных основных знаний на основе предоставленной входной последовательности; она не ищет истину, она ищет наиболее статистически правдоподобное продолжение заданной последовательности.
Но есть ли способ сделать модели более точными?
В поисках истины
Если мы предположим, что рассуждение - это форма поиска в пространстве возможных решений до тех пор, пока не будет найдено правильное (то, что кажется общепринятой точкой зрения независимо от того, могут ли эффективно рассуждать), то сочетание LLM с поиском во время выполнения расширяет возможности рассуждения LLM и, таким образом, уменьшает неточности.
Однако в этом режиме модель по-прежнему не ищет истину, поскольку цель остается той же: имитация человеческой письменной речи. Тем не менее, возможно, есть способ неявно повысить достоверность. Это исследователи уже некоторое время изучают двумя способами: минимизацией энтропии и (в последнее время) точной настройкой во время тестирования.
∙ При минимизации энтропии модель имеет индуктивный уклон в сторону более низких энтропийных реакций. Другими словами, она генерирует множественные ответы и в качестве способа различения принимает гипотезу о том, что ответ с наименьшим возможным количеством предположений, то есть самый простой, является лучшим ответом, что некоторые из вас сочтут похожим на бритву Оккама.
Например, предположим, что у нас есть модель, которая должна решить, является ли животное собакой или нет. 1) Ответом с низкой энтропией будет: "Это собака, потому что она лает". 2) Ответом с высокой энтропией будет: "Это собака, потому что она лает с интенсивностью 80 дБ и под углом 87 градусов относительно меня".
Хотя оба ответа верны, первый из них лучше, потому что признак лая является достаточным условием, чтобы решить, что это собака.
Второй ответ, хотя и верен, но адаптирован к очень конкретному случаю лающей собаки, что может привести к тому, что модель будет думать, будто лающие животные с более низкой интенсивностью звука или под другим углом не являются собаками.
∙ В ходе тонкой настройки во время тестирования Джек Коул и Мохамед Осман активно ищут решение знаменитого теста ARC-AGI (самого сложного теста для LLM) путем тонкой настройки модели. Здесь модель, столкнувшись со сложной проблемой, генерирует для нее несколько решений, находит правильное и точно настраивает веса модели в режиме реального времени.
Это форма активного обучения, при которой модель способна адаптироваться к поставленной проблеме, то есть никогда не перестает учиться. Однако, по моему скромному мнению (я вполне могу ошибаться), хотя эти очень интересные возможности сочетания поиска и LLM, кажется, повышают точность модели, они все же не решают проблему. По сути, модель все еще ищет не истину, а наилучший, статистически обоснованный ответ, напоминающий прошлые пути решения, которые модель запомнила заранее.
Другими словами, хотя более разумные методы поиска и LLM могут привести к лучшим, более фактическим ответам, модель по-прежнему просто выполняет свою цель - предоставить наиболее статистически правдоподобный ответ, независимо от его правдивости.
На самом деле, поиск истины и свобода воли не могут быть разделены; таким образом, нынешние модели не могут искать истину. Другими словами, нам нужны модели ИИ, которые не только активно познают наш мир (воплощение), чтобы понять последствия своих действий, но они также должны быть наделены рядом "добродетелей", которые побуждают модель учитывать истину как главную цель.
Короче говоря, даже в таких случаях я все еще чувствую, что модель врет.
Называть вещи подходящими именами
До того, как мы обсудим вопрос о свободе воли, нам следует ответить, понимают ли модели значение этого вопроса. Как уже говорилось, можно утверждать, что по мере того, как наши модели принимают данные более высокого качества и улучшают возможности их применения, "истинные" утверждения будут более статистически обоснованными для модели, чем "ложные". Однако до тех пор, пока модели не способны искать истину (поскольку они не знают о ее существовании), недостаточно представленные истины в обучающих данных будут вызывать у модели "галлюцинации" или, точнее, "ерунду", свой путь к ложному ответу.
Итак, как мы можем наделить передовые модели ИИ желанием искать истину?
Я не знаю. А вы?
СТИХИ
Уистен ОДЕН{4}
Rois fainéants
В Дни Святых королям разрешался выход:
Заплетали в косички их белокурые пряди,
В повозки впрягали белых быков - ради
Того, чтобы дети несли имена для выгод
Легендарных предков - Клотар, Хилперик,
Кловис, Теодор, Дагоберт, Хилдерик,
Утверждалось, что линия их не прерывалась.
(Хотя истина иногда перевиралась),
От Божеств морских или морских монстров повально
Зависела судьба Франков, католиков, как оказалось.
Все знали, что это спектакль - при том,
Все знали, кто является королем,
Что последнее слово говорит Мажордом,
И что все Мажордомы - епископы. (Гримуалд
Правил без них, но быстро отправился в ад.)
От зари до заката они шествовали триумфально,
Пока рог сотрясал небеса, и в восторге ражем
Племена орали, языки различая с трудом.
Когда опускалась тьма и празднование кончалось,
Короли убирались в замки, под присмотр стражи
Днем и ночью, дабы, возлежа на ложе,
О побеге ни-ни, и не болтали с прохожим.
Все занятие их - к хартии приложить печать,
Их не учили чтению, но снабжали в меру
Мясом, пивом и девушками; как замышлялось,
Умирали рано они, не обратившись в веру
Диссиденты? Так их следует называть?
GARE DU MIDI
Неприметный скорый с юга, суета
на пeрроне, в толпе лицо, коему собрать
с галунами оркестр мэр не удосужился, но
отвлекает взгляд что-то по поводу рта
с тревогой и жалостью, несмотря на холод,
валит снег. Сжимая руками немудрéную кладь,
он выходит стремительно инфицировать город,
чье ужасное будущее предрешено.
Paysage Moralis é
Слыша о жатве, сгнившей в долинах,
Видя с околиц бесплодные горы,
За перевалом сходящие в воды,
Зная - потонут открывшие остров,
Чтим строителей голодавших градов,
Чья слава есть образ нашей печали,
Подобья не знавшей в их печали,
Гнавшей несчастных в этих долинах,
Мечтавших бродить средь ученых градов
И диких коней бросавших на горы,
И корабли разбивавших об остров,
Образ зеленого не пришедшим в воды.
У рек они строили, и ночами воды
Бежали у окон, утолив их печали,
Каждая в русле зачинала остров,
Где каждый день танцевал в долинах,
Деревья зеленым скрывали горы,
Невинна любовь вдали этих градов.
Снова заря, а они еще в градах,
Прекрасная тварь не покинула воды,
Еще полнятся золотом эти горы,
Но голод был более близкой печалью,
Хотя поселянам, хандрящим в долинах,
Пилигримы, мерцая, начертали остров...
"Боги, - они обещали, - покинут остров,
Нас навестят, не минуют градов.
Время оставить злосчастью долины
И с ними уплыть в зеленые воды,
Рядом сидеть, забывая печали,
Тени на жизни отбросят горы".
Много трусливых впитали горы,
Их покорявших, чтоб взглянуть на остров,
Много бесстрашных прибрали печали,
Их не покинув и в найденных градах.
Многих беспечных вобрали воды,
Много несчастных не покинут долины.
Это наша печаль. Избыть ее? Воды
Будут хлестать, орошать эти горы, эти долины,
Отстроим мы грады, а не мечты про остров.
Культура Лимба{5}
Племена Лимба, говорят путники,
При первой встрече кажутся похожими на нас.
Они поддерживают жилища в чистоте,
Часы показывают почти наше время,
Они подают почти вкусную еду,
Но никто не видел в Лимбе детей.
В языке, на котором говорят племена Лимба,
Много слов туманней, чем в наших,
Чтоб обозначить как много, как мало, что-то
Поближе или не по делу,
Но никакое не переводится, как ДА или НЕТ,
И местоимения не отличают субъектов речи.
В легендах племен Лимба
Дракон и Рыцарь сведены к клыку и мечу,
Но нет там соперничества почти чуть-чуть,
Ведьма и мальчик никак не встретятся,
Она на секунду раньше, он на секунду позже.
Волшебная сума конфузит платежные средства.
"Итак, - заключает их формула в финале, -
Принц и Принцесса почти еще женаты".
Почему это так важно в культуре Лимбо,
Эта любовь к неопределенности? Может,
Сородичи в Лимбе любят только себя?
Но мы знаем, это возможно только почти.