Модель не извлекает готовую истину из базы, а формирует наиболее вероятное продолжение запроса с учетом доступного контекста. Поэтому гладкий и уверенный текст еще не означает, что ответ подтвержден правилами компании. Иногда ИИ выглядит как самый вежливый сотрудник, который уверенно сообщает то, чего никто не обещал.

Одна из причин связана с ограничением контекстного окна. Если в него не помещаются правила скидок, история клиента или актуальные условия договора, модель работает с неполной картиной. Другая причина связана с распределением весов. Внутренние веса модели помогают выбирать вероятное продолжение, но не являются реестром действующих цен, полномочий и юридических условий.

Собственнику стоит проверить, какие ответы разрешено выдавать автоматически, откуда система берет сведения и что происходит при отсутствии данных. Для клиентского сервиса нужны ограничения на выдуманные условия, передача сложных случаев сотруднику и журналирование ответов. Отдельно следует оценить, может ли ошибка создать финансовое обязательство, нарушить условия договора или повредить доверию к компании.

Галлюцинации часто путают с обычной ошибкой оператора, техническим сбоем или плохим качеством базы знаний. Разница в том, что модель способна оформить ошибку связно и убедительно. RAG может дать модели доступ к внешнему контексту, но сам по себе не делает каждый ответ проверенным.

По мнению Андрея, распределение весов объясняет, почему уверенный тон нельзя принимать за подтверждение. Для собственника вопрос звучит практично: какой ответ можно считать разрешенным и кто отвечает за последствия, если система ошиблась?

Компания подключает ИИ к чату поддержки. Клиент спрашивает о скидке, но в доступном контексте нет актуальной акции и правил согласования. Модель формулирует привлекательное предложение, клиент рассчитывает на него, а менеджеру приходится объяснять, что такой скидки не существует. Финансовая потеря может быть небольшой, зато спор о публичном обещании быстро становится юридической и репутационной проблемой.