Что сломается у первых платящих клиентов: тестирование SaaS с ИИ до запуска

С чего начать

Это маршрут для небольшого SaaS, где продукт уже запущен или готовится к первым платящим клиентам. Просить ИИ «найти все проблемы» бесполезно. Проверять лучше по частям: путь пользователя, стабильность, доступы.

Сами промпты лежат в гайдах по ссылкам: открой нужный и скопируй.

Перед первым шагом проверь, что события считаются правильно. Для этого нужен словарь событий SaaS — короткий документ, где у каждого события один смысл. Без него воронка и A/B-тесты опираются на цифры, которым нельзя верить.

Часть 1. Пользовательский путь

1. Где теряются регистрации: воронка SaaS
Что делает: строит воронку по последовательности событий, отделяет ошибки подсчёта от людей, которые действительно ушли. Нужно: выгрузка user_id / event_name / timestamp. Результат: шаг, где теряются люди, и 3 гипотезы, которые можно проверить.

2. A/B-тест без самообмана
Что делает: проверяет, не перепутаны ли выборки, метрики и условия эксперимента. Нужно: группы, конверсии, правило остановки. Результат: можно ли верить итогу теста и что делать дальше.

3. Отмена подписки без ловушек
Что делает: проверяет, легко ли отключить автопродление, есть ли подтверждение и что остаётся доступным после отмены. Нужно: сценарий и условия тарифов. Результат: схема экранов и тесты.

Часть 2. Стабильность

4. Из логов в баг-репорты
Что делает: группирует ошибки, отделяет симптомы от причин. Нужно: обезличенные логи. Результат: задачи для ИИ-агента.

5. Медленный SQL по EXPLAIN
Что делает: разбирает план выполнения запроса и предлагает, как ускорить, с замером до и после. Нужно: SQL, схема и EXPLAIN. Результат: план правок, который не сломает базу.

6. Вебхуки оплаты: повторы и задержки
Что делает: проверяет, что повторное или запоздавшее уведомление об оплате не спишет деньги дважды и не потеряет подписку. Нужно: схема событий платёжного провайдера. Результат: тест-кейсы без реальных списаний.

Часть 3. Доступы и приёмка

7. Матрица ролей и прав SaaS
Что делает: находит, кто может видеть или менять то, что ему не положено. Нужно: список ролей, объектов и действий. Результат: матрица прав и тесты на запрещённые действия.

8. Агент с ограниченными правами
Что делает: ограничивает права ИИ-агента, чтобы его нельзя было уговорить на опасное действие или утечку данных.

9. Приёмка работы ИИ-агента
Что делает: не даёт принять «готово» вместо результата, который можно проверить.

10. Проверка утечки ключей
Что делает: находит ключи и пароли в проекте до публикации.

Как использовать подборку за три прохода

1. Проблема: выбери один симптом, который можно измерить: мало кто доходит до конца регистрации, медленная страница, ошибки в уведомлениях об оплате. Не запускай десять проверок сразу.
2. Доказательство: дай агенту реальные обезличенные данные. Попроси указать источник каждого вывода и отдельно перечислить, чего он не знает.
3. Исправление: создай отдельную задачу и запиши, по какому признаку она будет считаться сделанной. Не разрешай агенту самому менять рабочую версию продукта.

Чек-лист

• Промпт выбран под конкретный вопрос и данные, которые у тебя есть.
• Результат можно проверить по исходным данным.
• Гипотеза не выдана за доказанный баг.
• Любые изменения доступа, платежей и базы данных согласовываются отдельно.

Когда продукт проверен, дальше нужны люди: как найти первых пользователей в Telegram и MAX.

Частые вопросы