Почему демо впечатляет, а продукт разочаровывает
Демо строят вокруг случаев, которые работают. Продукт встречает все остальные. Что проверить, прежде чем доверять демонстрации ИИ.
Вы посмотрели демо ИИ-инструмента, всё прошло гладко, и вы решили покупать. После недели реальной работы всё выглядит иначе. Это не обязательно значит, что вас ввели в заблуждение. Демо это один прогон на заранее выбранном примере, и именно это оно делает лучше всего.
Что меняется в реальной работе?
Во-первых, входные данные. В демо вводят чистую фразу. В реальной работе приходят запросы на других языках, с опечатками, запрос из одного слова вроде «возврат» или длинный диалог, где главное было сказано двадцать сообщений назад. OpenAI называет именно такие случаи среди крайних, которые нужно тестировать.
Во-вторых, вариативность. OpenAI пишет, что генеративный ИИ вариативен: один и тот же запрос может дать разный результат. Прогон, который сработал в демо, не гарантирует, что сработают следующие двадцать.
В-третьих, отбор. Тот, кто готовит демо, выбирает примеры, где инструмент выглядит лучше всего. Это не обман. Так устроена демонстрация.
Что говорят те, кто делает эти инструменты?
В руководстве OpenAI по оценке качества предупреждают о нескольких ошибках: набор тестов, который не отражает реальный трафик, опора на ощущение вроде «кажется, работает» и ожидание запуска перед тем, как начинать проверки. Инженеры Anthropic советуют начать с нескольких десятков задач, взятых из реальных сбоев.
Что попросить, прежде чем доверять демо?
Это мой собственный список, а не стандарт.
Прогоните инструмент на двадцати ваших случаях, включая несколько запутанных. Как собрать такой набор, описано в руководстве про 20 случаев перед запуском.
Запускайте каждый случай несколько раз и смотрите, стабилен ли ответ.
Отправляйте короткие запросы, запросы с опечатками и на том языке, на котором пишут ваши клиенты.
И спросите поставщика напрямую: где это ошибается и как выглядит ошибка? Если ответа нет, это уже ответ.
Что с этим делать?
Демо это приглашение начать проверку, а не повод её пропустить. Если инструмент справляется с вашими двадцатью случаями, у вас гораздо больше оснований ему доверять, чем после любой демонстрации.