Стресс-тест ассистента: поймай на выдумках и почини

Что это

Собрать своего GPT, проект или ИИ-агента — половина дела. Пока его не проверили, он может бодро называть старые цены, выдумывать то, чего нет в базе знаний, хамить в ответ на грубость или браться за всё подряд. Один удачный ответ ещё ничего не значит.

Промпт работает в два шага:

1. Тест-кейсы. Обычный чат составляет каверзные вопросы под твоего ассистента по пяти направлениям: чего нет в базе, цены и условия, грубый клиент, вопрос не по теме, запрос без деталей. Для каждого — каким должен быть правильный ответ.
2. Разбор и ремонт. Ты приносишь ответы ассистента, а чат находит причину сбоя (размытая инструкция, нет данных, слишком широкая задача, нет примера формата) и пишет точечную правку.

Принцип ремонта — маленькими шагами: одна правка, проверка, следующая. Так видно, что помогло, и не ломается то, что уже работало.

Как использовать

1. Открой отдельный чат (не того ассистента, которого проверяешь). Вставь Шаг 1 с инструкцией и описанием базы знаний.
2. Задай вопросы из теста своему ассистенту, каждый в новом чате. Скопируй ответы.
3. Отправь ответы в Шаг 2. Получишь причины и правки.
4. Внеси одну правку в инструкцию или базу, повтори проваленный тест. Потом следующую. Если правки пишешь сам и не уверен в формулировках, бесплатный скилл Промпт-гуру задаст нужные вопросы и соберёт рабочий текст инструкции.
5. Если ассистент ответил странно, спроси его самого: «Объясни, почему ты так ответил и каких данных или правил тебе не хватило». Часто он сам показывает слабое место.

Промпт

Шаг 1. Составить тест — в отдельный чат.

Я собрал ИИ-ассистента и хочу проверить его на прочность до того, как доверю ему реальную работу.

Что он делает: [например: отвечает на вопросы учеников курса / консультирует клиентов по услугам студии / считает финансы проекта]
Его инструкция: [вставь текст инструкции]
Что лежит в базе знаний: [перечисли файлы и что в них: прайс от такого-то числа, FAQ, программа курса]

Составь 10 тест-кейсов, по 2 в каждом направлении:
1. Чего нет в базе — правдоподобный вопрос, ответа на который в материалах нет. Правильно: честно сказать «не знаю / в материалах нет» и предложить, где узнать.
…

Шаг 2. Разбор и ремонт — в тот же чат, когда соберёшь ответы ассистента.

Вот ответы моего ассистента на тест-кейсы:

[кейс 1: вопрос → ответ ассистента]
[кейс 2: вопрос → ответ ассистента]
...

Оцени каждый ответ: прошёл / частично / провал — и одной строкой почему.

…

Что дальше

Когда все тесты проходят, сохрани их — прогоняй заново после каждого серьёзного изменения инструкции или базы знаний. Если ассистент получит доступ к почте, файлам или оплатам, добавь ему правила из промпта Агент, которого не уговорят слить данные. Если ассистент общается с клиентами в переписке, прогони его ещё и через Краш-тест ИИ-менеджера перед запуском.