Контент-эксперимент на две недели: проверяем формат по цифрам

Зачем этот гайд

«Видео заходит лучше картинок» — типичный вывод из двух разных постов на разные темы в разные дни. На самом деле неизвестно, что сработало: формат, тема, время публикации, аудитория или внешний инфоповод.

Гайд помогает превратить спор о контенте в маленький управляемый эксперимент. Он отличается от ICE-приоритизации: ICE выбирает гипотезу, здесь мы её исполняем и оцениваем качество сравнения.

1. Сформулируй узкий вопрос

Плохо: «Какие посты эффективнее?»

Лучше: «Если в одной рубрике заменить общий заголовок конкретным обещанием результата, вырастет ли доля переходов в материал за первые 48 часов после публикации?»

Гипотеза включает: что меняем, для кого, какой показатель, в каком окне. Не выбирай победителя по десяти метрикам задним числом.

2. Выбери показатель под цель

Цель	Основная метрика	Частая ошибка
Заинтересовать темой	Доля осмысленных реакций или открытий (если измеряется)	Оценить только число просмотров
Довести до статьи	Клики по размеченной ссылке / релевантные просмотры	Считать все клики уникальными людьми
Получить лиды	Валидные заявки по согласованному источнику	Считать лайки заявками
Улучшить обсуждение	Число содержательных ответов или уникальных участников	Считать ботов и флуд вовлечением

Площадка может не показывать нужную метрику. Не требуй от ИИ её «восстановить». Выбери наблюдаемую метрику и явно напиши ограничение.

3. Подготовь сравнимые публикации

Поменяй одну главную переменную: например, тип первого абзаца при сходной теме и длине. Не меняй одновременно формат, CTA, автора и время.

Если полноценное случайное назначение аудитории невозможно, это контентное сравнение, не строгий A/B-тест: разные дни и алгоритмы распространения создают смещения.

План на 14 дней:

• Дни 1–2: цель, исходная метрика, выбор рубрики и пар материалов.
• Дни 3–10: публикации в сопоставимые слоты с журналом изменений.
• Дни 11–13: сбор статистики по одинаковому возрасту постов.
• День 14: проверка ошибок и решение — повторить, изменить или отказаться.

4. Веди журнал

Для каждой публикации сохрани: ID, тема, дата, время и часовой пояс, вариант A/B, что изменили, публикация в рекламе или нет, окно измерения, фактические метрики, внешние факторы (крупный инфоповод, необычная акция).

Условный пример: шесть постов с форматом A и шесть с форматом B. У B медиана кликов выше, но два поста B вышли во время крупного события. Вывод: сигнал интересный, но причины не доказаны; стоит повторить сравнение без этого фактора.

Рядом по теме: A/B-тест без самообмана: проверь результат до решения, Отчёт по метрикам с ИИ: report.md без фантазий, ИИ-разбор Telegram-канала: рубрики и рост, статья «Как найти первых пользователей в Telegram и MAX» и Набор маркетолога: 15 инструментов за вечер (990 ₽).