Введение

Прежде чем переходить к продуктовой аналитике, я советую ознакомиться с моей статьей (на другом сайте), которая является компиляцией общедоступных материалов из интернета:

Бесплатный курс Product Manager (большая подборка материалов). Управление продуктом. Продакт Менеджер

Что такое продуктовая аналитика?

Продуктовая аналитика — это процесс сбора, анализа и интерпретации данных, связанных с продуктом или услугой, чтобы понимать, как пользователи взаимодействуют с продуктом и как его можно улучшить, чтобы повысить его эффективность и удовлетворенность пользователей.

Продуктовая аналитика становится все более важной в современном бизнесе, где продукты и услуги постоянно изменяются и улучшаются, чтобы соответствовать требованиям пользователей и конкуренции.

Кто такой продуктовый аналитик?

Продуктовый аналитик — это специалист, который отвечает за сбор, анализ и интерпретацию данных, связанных с продуктом или услугой, чтобы понимать, как пользователи взаимодействуют с продуктом и как его можно улучшить, чтобы повысить его эффективность и удовлетворенность пользователей. Другими словами, это специалист, который анализирует данные о продукте, чтобы дать рекомендации по разработке и обновлению продукта, в том числе для его запуска и продвижения (маркетинга).

Роль продуктового аналитика включает в себя следующие задачи:

• Определение ключевых показателей эффективности продукта (KPI), которые помогут измерить успех продукта и его эффективность в достижении целей бизнеса.
• Сбор данных о продукте, включая данные о поведении пользователей, использовании функций продукта, привлечении и удержании пользователей, и другие данные.
• Анализ данных с помощью различных методов, таких как A/B-тестирование, анализ пользовательского поведения и исследование рынка.
• Предложение изменений в продукте на основе анализа данных и определение, какие изменения приведут к улучшению продукта и повышению его эффективности.
• Разработка отчетов и представление результатов анализа бизнесу и команде разработки продукта.

Продуктовый аналитик обычно работает в команде продукта и сотрудничает с различными специалистами, такими как менеджеры продукта, дизайнеры, разработчики и маркетологи.

ПРОДУКТОВАЯ АНАЛИТИКА: РАЗБОР реального КЕЙСА

С какими видами/типами продуктов приходится работать продуктовым аналитикам?

Продуктовые аналитики могут работать с различными типами продуктов, в зависимости от компании и ее специфики. Некоторые из наиболее распространенных типов продуктов, с которыми работают продуктовые аналитики, включают в себя:

1. Мобильные приложения для iOS и Android
2. Веб-приложения и сайты
3. Социальные сети и платформы для обмена контентом
4. Игры и развлекательные продукты
5. Компьютерное и серверное программное обеспечение
6. Электронные коммерческие платформы и маркетплейсы
7. Финансовые и банковские продукты
8. Медицинские и здравоохранительные продукты
9. Продукты для бизнеса и управления проектами
10. Устройства Интернета вещей (IoT) и смарт-дома.

Продуктовый аналитик может работать с одним или несколькими типами продуктов в рамках своей карьеры, и ему необходимо иметь понимание специфики каждого из этих продуктов для проведения анализа и определения наиболее эффективных стратегий для его улучшения.

Чем продуктовый аналитик отличается от менеджера продукта?

Продуктовый аналитик и менеджер продукта — это две разные роли в команде разработки продукта.

Менеджер продукта (Product Manager) отвечает за разработку и внедрение продукта на рынок. Он определяет стратегию продукта, задает приоритеты для функций, определяет ценовую политику, работает с командой разработчиков, дизайнеров и маркетологов, и следит за тем, чтобы продукт соответствовал потребностям пользователей и требованиям рынка.

Продуктовый аналитик (Product Analyst) отвечает за анализ продукта и его улучшение. Он занимается сбором и анализом данных, определяет KPI продукта, проводит A/B-тесты и исследует поведение пользователей, чтобы определить, какие изменения в продукте могут привести к улучшению его функциональности и удовлетворенности пользователей. Продуктовый аналитик не принимает решения о стратегии продукта, но предоставляет данные и рекомендации менеджеру продукта для принятия обоснованных решений.

Таким образом, можно сказать, что менеджер продукта отвечает за стратегические решения в разработке продукта, а продуктовый аналитик — за анализ данных и определение тактических изменений для улучшения продукта. Обе роли важны для развития и улучшения продукта, и часто работают вместе в команде продукта.

Основные скилы продуктового аналитика

Продуктовый аналитик должен обладать широким спектром навыков, включая технические, аналитические, коммуникативные и управленческие.

Некоторые из основных скиллов продуктового аналитика включают:

1. Аналитические навыки: способность анализировать данные и выявлять закономерности, проводить статистические исследования, определять причинно-следственные связи и прогнозировать будущие тенденции.
2. Технические навыки: понимание технологий и инструментов для работы с данными, включая базы данных, языки программирования, инструменты аналитики данных и визуализации.
3. Коммуникативные навыки: способность общаться с коллегами и стейкхолдерами, переводить сложные данные и аналитические выводы в понятные для всех термины, презентовать свои результаты и рекомендации.
4. Управленческие навыки: способность управлять проектами, планировать свою работу, определять приоритеты, работать в команде и координировать свою работу с другими членами команды.
5. Понимание бизнеса: понимание основных принципов бизнеса, а также умение анализировать требования и потребности клиентов, определять KPI и метрики продукта, которые соответствуют бизнес-целям.
6. Понимание пользователей: понимание потребностей и привычек пользователей, умение анализировать пользовательские данные, определять особенности поведения пользователей и выделять ключевые тренды.
7. Гибкость и адаптивность: способность быстро адаптироваться к изменениям в проекте и бизнес-среде, готовность к изучению новых технологий и методов анализа данных.

Это лишь несколько основных скиллов, которыми должен обладать продуктовый аналитик. Конкретный набор навыков может различаться в зависимости от требований конкретного проекта и компании.

Технические навыки, которыми должен обладать продуктовый аналитик

Продуктовый аналитик должен обладать определенными техническими навыками, чтобы успешно выполнять свои задачи. Вот топ 8 технических навыков, которые могут понадобиться продуктовому аналитику:

1. Анализ данных и SQL
Основным инструментом любого аналитика являются данные. Продуктовый аналитик должен уметь работать с большими объёмами данных, извлекать из них информацию и формулировать на её основе полезные инсайты.

SQL (Structured Query Language) — один из самых важных языков для работы с базами данных. С его помощью продуктовый аналитик может получать доступ к данным, структурировать их, проводить вычисления и создавать отчёты. Глубокое понимание SQL помогает эффективно взаимодействовать с данными, создавая запросы, объединяя таблицы и работая с агрегированными данными.

2. Инструменты визуализации данных
Для того чтобы представить результаты анализа в понятной и наглядной форме, важно владеть инструментами визуализации данных. Продуктовый аналитик должен уметь создавать диаграммы, графики и дашборды, которые позволят бизнес-командам быстро понять ключевые метрики и тренды.

Популярные инструменты визуализации данных:

• Tableau — мощный инструмент для создания интерактивных дашбордов.
• Power BI — платформа от Microsoft для бизнес-аналитики.
• Google Data Studio — бесплатный инструмент от Google для визуализации данных.
• Qlik Sense
• Yandex DataLens
• Apache Superset
• Metabase

Знание этих инструментов помогает продуктовым аналитикам эффективно коммуницировать результаты анализа и делать их доступными для различных заинтересованных сторон.

3. Языки программирования: Python и R
Знание языков программирования, таких как Python и R, становится всё более востребованным для продуктовых аналитиков. Эти языки позволяют автоматизировать процесс анализа, обрабатывать большие объёмы данных, а также применять сложные статистические методы и машинное обучение.

Python особенно популярен благодаря своим библиотекам, таким как pandas для анализа данных, matplotlib и seaborn для визуализации, а также scikit-learn для машинного обучения.
R традиционно используется в статистике и академических исследованиях, но также находит применение в бизнесе благодаря своим мощным статистическим пакетам и возможностям визуализации.

4. A/B тестирование и экспериментальный дизайн
Продуктовый аналитик должен понимать, как проводить A/B тесты и другие виды экспериментов для оценки влияния изменений на продуктовые метрики. Эти методы позволяют объективно оценить, какие изменения действительно улучшают продукт, а какие могут оказаться неэффективными или даже вредными.

Навыки проектирования и анализа экспериментов:

• Определение гипотез и метрик для тестирования.
• Подбор соответствующего объема выборки.
• Анализ результатов тестирования с помощью статистических методов, таких как t-тесты, доверительные интервалы и регрессии.

5. Основы работы с большими данными (Big Data)
В современных компаниях часто работают с огромными объёмами данных, и понимание принципов работы с Big Data становится важным навыком для продуктового аналитика.

Например:

• Hadoop и Spark — платформах для распределённой обработки данных.
• NoSQL базах данных, таких как MongoDB или Cassandra.
• Облачных платформах, например, AWS или Google Cloud, которые предоставляют инструменты для обработки и анализа больших данных.

6. Основы статистики и математического анализа
Глубокие знания статистики и математического анализа являются основой для любого аналитического процесса.

Продуктовый аналитик должен уметь:

• Работать с основными распределениями данных.
• Применять методы регрессионного анализа.
• Понимать и использовать различные виды статистических тестов.
• Анализировать вероятности и риски, чтобы делать более точные прогнозы.

Эти навыки помогают аналитикам делать более обоснованные выводы и минимизировать риски ошибок в анализе данных.

7. Web-аналитика и инструменты трекинга
Для оценки взаимодействия пользователей с продуктом аналитик должен разбираться в веб-аналитике. Знание таких инструментов, как Google Analytics, Mixpanel или Amplitude, позволяет собирать данные о поведении пользователей, анализировать воронки конверсии и выявлять узкие места в продукте.

Кроме того, понимание принципов работы трекинга событий, установки целей и настройки тэгов — это важные аспекты для глубокого анализа пользовательского поведения.

8. Основы UX и продуктовое мышление

Понимание основ UX (User Experience) и продуктового мышления помогает аналитику лучше понять, как пользователи взаимодействуют с продуктом, и какие аспекты пользовательского опыта требуют улучшения. Это также помогает в формировании гипотез для A/B тестирования и в интерпретации результатов с учетом пользовательских сценариев.

Какие задачи решает продуктовый аналитик?

Продуктовый аналитик (Product Analyst) играет ключевую роль в командах, занимающихся разработкой и улучшением продуктов. Его основная задача — обеспечение данных и аналитических выводов, которые помогают принимать обоснованные решения о продукте на всех этапах его жизненного цикла. Ниже рассмотрим основные задачи, которые решает продуктовый аналитик.

1. Анализ пользовательского поведения

Одна из ключевых задач продуктового аналитика — анализировать, как пользователи взаимодействуют с продуктом. Это включает в себя:

Изучение путей пользователей (user journeys) внутри продукта.
Анализ воронок конверсии (conversion funnels) для понимания, на каком этапе пользователи чаще всего отказываются от использования продукта.
Изучение метрик вовлеченности (engagement metrics), таких как количество активных пользователей, частота использования и длительность сессий.
Эта задача позволяет выявлять узкие места в пользовательском опыте и находить возможности для улучшения продукта.

2. Оценка продуктовых метрик

Продуктовый аналитик отвечает за мониторинг и оценку ключевых метрик, которые отражают успешность продукта. Это могут быть:

Активные пользователи (DAU, MAU) — количество уникальных пользователей, использующих продукт ежедневно или ежемесячно.
LTV (Lifetime Value) — прогнозируемая прибыль от одного пользователя за всё время его использования продукта.
CAC (Customer Acquisition Cost) — стоимость привлечения одного пользователя.
Аналитик следит за динамикой этих метрик, оценивает их соответствие целевым показателям и ищет причины их изменения.

3. Проведение A/B тестирования

Продуктовые аналитики активно участвуют в проектировании и проведении A/B тестов для оценки влияния изменений в продукте. Задачи включают:

Формирование гипотез для тестирования.
Определение метрик успеха, которые будут использоваться для оценки результатов теста.
Анализ полученных данных и предоставление рекомендаций на основе результатов.
Эти тесты помогают компании понять, какие изменения действительно улучшают продукт, а какие — нет.

4. Сегментация пользователей

Для более точного понимания аудитории продуктовый аналитик проводит сегментацию пользователей. Эта задача включает:

Разделение пользователей на группы по различным критериям, таким как демография, поведение, частота использования продукта.
Анализ предпочтений и потребностей каждой группы.
Сегментация позволяет разрабатывать более таргетированные и эффективные маркетинговые и продуктовые стратегии.

5. Анализ конкурентов и рынка

Продуктовый аналитик занимается также анализом рынка и конкурентов. В его задачи входит:

Исследование продуктовых стратегий конкурентов и выявление их сильных и слабых сторон.
Анализ рыночных трендов и выявление новых возможностей для развития продукта.
Оценка потенциала новых рынков и подготовка обоснований для выхода на них.
Этот анализ помогает компании оставаться конкурентоспособной и адаптировать продукт под меняющиеся рыночные условия.

6. Поддержка продуктовых запусков

При запуске нового продукта или функции аналитик играет важную роль, помогая команде с:

Прогнозированием успеха нового продукта или функции на основе данных.
Разработкой методологии мониторинга запуска и оперативной оценки его успешности.
Анализом пользовательских отзывов и поведения после запуска, чтобы быстро реагировать на потенциальные проблемы.
Эта задача помогает минимизировать риски и максимально использовать возможности нового продукта.

7. Разработка дашбордов и отчетов

Для эффективного мониторинга ключевых метрик продуктовый аналитик разрабатывает и поддерживает дашборды и отчеты, которые позволяют команде в реальном времени отслеживать показатели продукта. Задачи включают:

Подбор метрик и показателей для дашбордов.
Настройка регулярной отчетности по основным KPI.
Актуализация данных и улучшение визуализации для удобства использования.
Такие инструменты помогают команде всегда быть в курсе текущего состояния продукта и оперативно реагировать на изменения.

8. Моделирование и прогнозирование

Продуктовый аналитик разрабатывает прогнозные модели для оценки будущих показателей продукта. Это может включать:

Прогнозирование роста аудитории.
Оценку будущих доходов и расходов.
Моделирование различных сценариев развития продукта в зависимости от изменений внешних условий или внутренних факторов.
Такие модели помогают принимать стратегические решения, основываясь на возможных результатах.

9. Оптимизация продукта

Продуктовый аналитик постоянно работает над оптимизацией продукта, улучшая пользовательский опыт и повышая эффективность. В его задачи входит:

Анализ данных для поиска узких мест и областей, требующих улучшений.
Оценка эффективности изменений и их влияния на ключевые метрики.
Внедрение процессов непрерывного улучшения, основанных на данных и обратной связи от пользователей.
Оптимизация продукта позволяет увеличить его ценность для пользователей и повысить конкурентоспособность на рынке.

Какие данные обычно использует продуктовый аналитик?

Продуктовый аналитик использует множество данных для анализа продукта и принятия решений по его развитию. Вот несколько типов данных, которые обычно используются продуктовым аналитиком:

1. Данные о пользователях: это данные о поведении пользователей на сайте или в приложении, такие как действия, совершенные пользователем, время, проведенное на сайте или в приложении, тип устройства, используемый пользователем, и т.д.
2. Данные о продажах: это данные о продажах продукта, такие как количество продаж, доходы от продаж, средний чек и т.д.
3. Данные о конверсии: это данные о количестве пользователей, которые выполняют определенные действия на сайте или в приложении, такие как регистрация, оформление заказа, подписка на новости и т.д.
4. Данные о маркетинге: это данные о маркетинговых кампаниях, такие как количество кликов, затраты на рекламу, конверсия и т.д.
5. Данные об использовании продукта: это данные о том, как пользователи используют продукт, такие как функции продукта, наиболее популярные страницы или экраны, наиболее используемые функции и т.д.
6. Данные обратной связи: это данные, полученные от пользователей в форме отзывов, комментариев или опросов. Эти данные могут помочь продуктовому аналитику понять, что работает в продукте, а что нуждается в улучшении.
7. Данные конкурентов: это данные о продуктах конкурентов, такие как функции, цены, пользовательский интерфейс и т.д.

Использование этих и других типов данных позволяет продуктовому аналитику получать ценные инсайты о продукте, его пользователях и конкурентной среде. Это помогает принимать решения по улучшению продукта, повышению его популярности и эффективности.

Какие аналитические методы использует продуктовый аналитик?

Продуктовый аналитик использует различные аналитические методы для анализа данных и принятия решений по улучшению продукта. Вот несколько из них:

1. Когортный анализ: это метод, при котором пользователи группируются в когорты по дате первого визита или покупки. Этот метод позволяет продуктовому аналитику изучать, как изменения в продукте влияют на поведение пользователей с течением времени.
   
2. A/B тестирование: это метод, при котором две или более версии продукта тестируются на группах пользователей, чтобы выяснить, какие изменения приводят к улучшению продукта. Этот метод используется для тестирования новых функций, дизайна или маркетинговых кампаний.
   
3. Воронка продаж: это метод, при котором пользовательский путь от первого контакта до покупки разбивается на этапы. Этот метод позволяет продуктовому аналитику определить, на каком этапе пользователи больше всего теряются и что можно сделать, чтобы увеличить конверсию.
4. RFM анализ: это метод сегментации клиентов, который помогает определить ценность клиентов на основе их поведения (покупок и взаимодействия с продуктом). Этот метод позволяет продуктовому аналитику выяснить, какие клиенты являются наиболее ценными для продукта и какие действия можно предпринять, чтобы удержать этих клиентов.
   Recency (R) — давность, количество времени с прошлой покупки
   Frequency (F) — частота, общее количество покупок
   Monetary (M) — деньги, общая сумма покупок
5. Анализ данных о пользователе: это метод, при котором данные о поведении пользователей используются для создания профиля пользователя. Этот метод позволяет продуктовому аналитику понять, какие пользователи наиболее ценны для продукта, какие функции наиболее популярны среди пользователей и какие проблемы пользователи испытывают при использовании продукта.
6. Анализ данных о конкурентах: это метод, при котором данные о продуктах конкурентов используются для анализа рынка. Этот метод позволяет продуктовому аналитику понять, что делают конкуренты, какие функции пользуются спросом у пользователей и какие преимущества продукта можно выделить в конкурентной среде.

Продуктовый аналитик использует эти и другие методы, чтобы извлекать ценные инсайты о продукте и его пользователях, а также для принятия решений, направленных на улучшение продукта. Это может включать в себя изменение функциональности, улучшение интерфейса пользователя, улучшение процесса покупки или любых других аспектов продукта. Более того, продуктовый аналитик также использует свои аналитические навыки для выявления новых возможностей для развития продукта, таких как добавление новых функций, расширение аудитории или увеличение дохода.

В целом, продуктовый аналитик играет важную роль в развитии продукта, используя данные и аналитику, чтобы принимать информированные решения и улучшать пользовательский опыт.

Какие отчеты по продукту обычно создаются?

Отчеты по продукту, которые создают продуктовые аналитики, зависят от компании и ее продукта. Однако, некоторые типичные отчеты по продукту могут включать:

1. Отчеты о продажах и доходности продукта, включая показатели выручки, маржинальности, LTV и другие метрики, связанные с финансовыми результатами продукта.
2. Отчеты о пользовательской активности, включая количество пользователей, поведение пользователей на сайте/приложении, пользовательское удержание, среднее время использования продукта и другие метрики, связанные с пользовательской активностью.
3. Отчеты о конверсии и воронке продаж, включая метрики, связанные с количеством пользователей, которые заходят на сайт, регистрируются, добавляют продукты в корзину, оформляют заказы и т.д.
4. Отчеты о функциональности продукта, включая метрики, связанные с использованием определенных функций продукта, проблемами пользователей, отзывами и т.д.
5. Отчеты о маркетинговых кампаниях, включая метрики, связанные с рекламными бюджетами, количеством просмотров, кликов, конверсий и т.д.
6. Отчеты о конкурентной аналитике, включая метрики, связанные с тем, как продукт сравнивается с конкурирующими продуктами на рынке.
7. Отчеты о новых возможностях для продукта, включая идеи для новых функций, обновлений и других улучшений продукта на основе данных исследований пользователей и конкурентов.

Все эти отчеты помогают продуктовым менеджерам и бизнес-аналитикам понимать, как продукт работает, и делать информированные решения для его улучшения и развития.

Основы статистики для продуктового аналитика. Что должен знать продуктовый аналитик

Продуктовый аналитик должен знать основы статистики, так как статистический анализ данных является необходимым инструментом для понимания и интерпретации результатов исследований, а также для принятия решений на основе данных.

Вот некоторые основы статистики, которые должен знать продуктовый аналитик:

1. Типы данных: продуктовый аналитик должен понимать различные типы данных, такие как непрерывные, дискретные, категориальные и бинарные.
2. Описательная статистика: продуктовый аналитик должен уметь использовать среднее, медиану, моду, стандартное отклонение и другие показатели описательной статистики для описания распределения данных.
3. Инференциальная статистика: продуктовый аналитик должен знать основы инференциальной статистики, такие как доверительные интервалы, статистические гипотезы и p-значения.
4. Анализ данных: продуктовый аналитик должен уметь использовать методы анализа данных, такие как корреляционный анализ, регрессионный анализ и факторный анализ.
5. Экспериментальный дизайн: продуктовый аналитик должен понимать основы экспериментального дизайна, такие как A/B-тестирование, кросс-валидация и разделение выборки.

Знание этих основ статистики позволит продуктовому аналитику анализировать данные, выделять ключевые метрики, определять значимость результатов и делать обоснованные выводы и рекомендации на основе данных.

Зачем нужна СТАТИСТИКА для анализа данных?

Что такое продуктовая гипотезы. Этапы создания продуктовой гипотезы

Продуктовая гипотеза — это предположение о том, что произойдет с продуктом после внесения определенного изменения. Она помогает определить, как изменение продукта повлияет на пользователей и на бизнес в целом.

Продуктовая гипотеза содержит несколько ключевых элементов, таких как:

1. Изменение продукта: что будет изменено или добавлено в продукт.
2. Целевая аудитория: кто будет использовать измененный продукт и какие проблемы они имеют.
3. Ожидаемый результат: как изменение продукта повлияет на пользователей и бизнес.

Продуктовая гипотеза позволяет проверить идеи и решения, прежде чем внедрять их в продукт. Она также помогает команде продукта сосредоточиться на целях и мотивирует ее на достижение результатов.

Чтобы создать эффективную продуктовую гипотезу, необходимо провести исследование рынка и анализ конкурентов, определить потребности пользователей и выявить проблемы, которые необходимо решить. Также нужно определить, какие метрики будут использоваться для оценки результатов изменений.

Этапы создания продуктовой гипотезы

Продуктовая гипотеза — это предположение о том, что создаваемый продукт будет решать определенную проблему пользователей или удовлетворять их потребности. Ее создание является важной частью процесса разработки продукта.

Порядок создания продуктовой гипотезы:

1. Определение целевой аудитории и проблем, которые она сталкивается.
2. Исследование рынка и анализ конкурентов.
3. Сбор данных о поведении и потребностях целевой аудитории.
4. Формулирование предположения о том, как продукт будет решать проблемы и удовлетворять потребности пользователей.

После создания продуктовой гипотезы необходимо ее протестировать. Для этого используются различные методы и инструменты, такие как A/B-тестирование, пользовательские опросы и интервью, анализ метрик и другие.

Если гипотеза подтверждается на основе результатов тестирования, то она становится основой для дальнейшей разработки продукта. Если же гипотеза опровергается, то необходимо провести дополнительное исследование и создать новую гипотезу.

Финальное решение по верности продуктовой гипотезы принимает команда продукта и высший руководитель компании. Однако, важно учитывать мнение экспертов и обратную связь от пользователей.

Дальнейшая судьба продуктовой гипотезы зависит от результатов тестирования и принятого решения. Если гипотеза подтверждена, то она используется для дальнейшей разработки продукта. Если гипотеза опровергнута, то она может быть изменена или заменена на новую.

A/B-тестирование

A/B-тестирование — это методика, которая позволяет сравнить две различные версии продукта (контрольную и тестовую) с целью выяснить, какая из них работает лучше в достижении определенных целей. Например, можно провести A/B-тестирование для определения наилучшего дизайна страницы, наилучшей цены продукта или наилучшего текста рекламного объявления.

Процесс работы с A/B-тестированием включает следующие этапы:

1. Определение целей тестирования: нужно определить, какие цели хочется достичь с помощью A/B-тестирования. Например, увеличение конверсии, увеличение продаж, улучшение пользовательского опыта и т.д.
2. Создание гипотезы: нужно сформулировать гипотезу, какая версия продукта должна работать лучше и почему.
3. Создание контрольной и тестовой групп: нужно разделить пользователей на две группы случайным образом, контрольную группу и тестовую группу. Контрольная группа будет видеть текущую версию продукта, а тестовая группа – новую версию продукта, на которую направлены изменения.
4. Определение размера выборки: нужно определить, сколько пользователей должно быть в каждой группе. Размер выборки должен быть достаточным для получения статистически значимых результатов.
5. Запуск тестирования: нужно запустить тестирование и собирать данные о поведении пользователей в каждой группе.
6. Анализ результатов: нужно провести анализ данных, собранных в ходе тестирования, и определить, какая версия продукта работает лучше.
7. Принятие решения: нужно принять решение на основе полученных результатов тестирования. Если тестовая версия продукта работает лучше, ее можно запустить для всех пользователей. Если результаты не подтвердили гипотезу, нужно анализировать и корректировать ее или начать тестирование снова.

После сбора данных и проведения анализа результатов тестирования, необходимо сделать выводы. В первую очередь, необходимо понять, была ли гипотеза подтверждена или опровергнута. Для этого можно провести статистический анализ и сравнить метрики контрольной и экспериментальной групп.

Если гипотеза была подтверждена, следующим шагом будет внедрение изменений в продукт. Если же гипотеза была опровергнута, необходимо понять, почему это произошло. Может быть, гипотеза была сформулирована некорректно или ее необходимо пересмотреть.

Важно отметить, что A/B-тестирование является непрерывным процессом, который позволяет постоянно улучшать продукт. Новые гипотезы могут возникать на основе анализа результатов предыдущих тестов, а сам процесс тестирования может повторяться неоднократно для уточнения результатов.

Финальное решение по продукту и принятие решения о внедрении изменений принимает команда продукта и высшее руководство компании.

Плейлист по АБ тестированию от ВШЭ на YouTube

Что такое гипотезы в A/B тестировании?

Нулевая гипотеза (H0) — гипотеза о сходстве: Это утверждение, которое предполагает отсутствие эффекта или различия между выборками. Например, для нового функционала приложения, нулевая гипотеза может быть: «Новый функционал не влияет на количество пользователей, которые завершили регистрацию.»

Альтернативная гипотеза (H1) — гипотеза о различии: Это утверждение, которое предполагает наличие эффекта или различия между выборка. Например: «Новый функционал увеличивает количество пользователей, которые завершили регистрацию.»

Если две выборки излечены из нормально распределённых генеральных совокупностей, причём одна выборка имеет с параметры μ1 и σ1, а другая параметры μ2 и σ2, то нулевая гипотеза H0 исходит из предположения о том, что

μ1 = μ1
и σ2 = σ2,

т.е. разность двух средних μ1 - μ2 = 0 и разность двух стандартных отклонений σ1 - σ2 = 0 (отсюда и название гипотезы — нулевая).

Сущность проверки статистической гипотезы заключается в том, чтобы установить, согласуются ли экспериментальные данные и выдвинутая гипотеза, допустимо ли отнести расхождение между гипотезой и результатом статистического анализа экспериментальных данных за счёт случайных причин?

Ошибки первого и второго рода

Статистическая проверка гипотез, основанная на экспериментальных, выборочных данных, неизбежно связана с риском (вероятностью) принять ложное решение.

При этом возможны ошибки двух родов:

• Ошибка первого рода произойдёт, когда будет принято решение отклонить гипотезу Н0, хотя в действительности она оказывается верной.
• Ошибка второго рода произойдет, когда будет принято решение не отклонять гипотезу Н0 хотя в действительности она будет неверна.

Что такое p-value (уровень значимости) в A/B тестировании?

P-value (уровень значимости) – это вероятность того, что наблюдаемый результат или даже более экстремальный результат будет получен, если нулевая гипотеза верна.

Чем меньше значение p-value, тем больше вероятность того, что вы отвергнете нулевую гипотезу.

Значение p-value говорит нам, насколько вероятно, что наши данные могли появиться при нулевой гипотезе.

Более неформально, p-value – это «жизнеспособность» нулевой гипотезы, которую мы оцениваем по имеющимся данным.

Небольшое значение p-value указывает на то, что наблюдаемые данные вряд ли возникли просто случайно, что приводит к отклонению нулевой гипотезы.

Рассмотрим пример p-value с мобильным приложением

Пусть у нас есть две группы пользователей мобильного приложения:

• Группа A: Пользователи, использующие старую версию приложения.
• Группа B: Пользователи, использующие новую версию приложения.

Вы хотите узнать, влияет ли новая версия приложения на среднее время, которое пользователи проводят в приложении.

• Нулевая гипотеза (H0): Среднее время, проведенное в приложении, одинаково для обеих групп (новая версия не влияет на время).
• Альтернативная гипотеза (H1): Среднее время, проведенное в приложении, отличается между группами (новая версия влияет на время).

Далее нам необходимо собирать данные и вычислить среднее время использования App для обеих групп:

• Среднее время для группы A: 30 минут.
• Среднее время для группы B: 35 минут.

Теперь мы используем статистический тест (например, t-тест), чтобы рассчитать P-value. Этот тест поможет нам определить вероятность того, что наблюдаемая разница в средних значениях (30 минут и 35 минут) произошла случайно, если нулевая гипотеза верна (т.е. если на самом деле нет никакой разницы).

Если P-value маленькое, это значит, что разница между средними значениями двух групп скорее всего не случайна, и мы можем быть уверены, что новая версия приложения действительно влияет на среднее время использования.

Если P-value большое, это значит, что разница между средними значениями может быть случайной, и у нас нет достаточно доказательств, чтобы сказать, что новая версия приложения влияет на среднее время использования.

Пример расчета p-value с мобильным приложением в Python

Для вычисления p-value, чтобы понять, как новая версия мобильного приложения влияет на длительность времени, проведенное в приложении, мы используем t-тест для двух выборок. Это поможет определить, есть ли статистически значимое различие между средним временем, проведенным в приложении для двух групп.

У нас есть исходные данные:

• Среднее время для группы A (старой версии): 30 минут
• Среднее время для группы B (новой версии): 35 минут

Для выполнения t-теста, нам также нужны стандартные отклонения и размеры выборок для каждой группы.

Предположим следующие значения для примера:

• Стандартное отклонение группы A: 5 минут
• Стандартное отклонение группы B: 6 минут
• Размер выборки группы A: 50 пользователей
• Размер выборки группы B: 50 пользователей

Теперь напишем код на Python, чтобы выполнить t-тест:

Результат:

Поскольку p-значение очень маленькое (значительно меньше типичного уровня значимости 0.05), мы можем отвергнуть нулевую гипотезу о том, что средние значения времени, проведенного в приложении, для двух групп одинаковы. Это означает, что новая версия мобильного приложения статистически значимо влияет на длительность времени, проведенного в приложении.

Стандартные уровни статистической значимости (порог значимости)

Уровень значимости (alpha) – вероятность отвергнуть верную нулевую гипотезу. Другими словами, это вероятность совершить ошибку первого рода.

Нулевая гипотеза всегда проверяется на определённом уровне значимости. Например, если мы проверяем нулевую гипотезу на уровне значимости 5%, это означает, что если мы будем проводить аналогичные исследования 100 раз и проверять на основе имеющихся данных интересующую нас нулевую гипотезу, в 5 случаях из 100 мы отвергнем нулевую гипотезу, хотя она будет верной.

Альфа (alpha) всегда должна быть установлена перед экспериментом, чтобы избежать смещения. Если наблюдаемое р-значение ниже, чем alpha, то мы заключаем, что результат является статистически значимым.

Величины 0.05, 0.01 и 0.001 — это так называемые стандартные уровни статистической значимости.
При статистическом анализе экспериментальных данных в зависимости от задач и гипотез исследования должен быть выбрать необходимый уровень значимости.

Наибольшая величина или нижняя граница уровня статистической значимости равняется 0,05 —допускается пять ошибок в выборке из ста элементов (случаев испытуемых) или одна ошибка из двадцати элементов (случаев испытуемых).

Доверительный интервал – интервал значений, в котором, с вероятностью (1- α), лежит истинное значение переменной. Доверительный интервал является оценкой возможных значений переменной в зависимости от её стандартного отклонения.

Статистическая мощность – вероятность отклонения нулевой гипотезы в случае, если альтернативная гипотеза верна. Обычно статистическая мощность теста устанавливается равной 0,8. Это значение используется для вычисления размера выборки, необходимой для подтверждения гипотезы с необходимой силой эффекта.

Другими словами:

• Статистическая мощность 1−β: Процент времени, когда будет обнаружен минимальный размер эффекта, при условии, что он существует
• Уровень значимости α: Процент времени, когда будет обнаружена разница, при условии, что ее НЕ существует

Значимость — статистический тест говорит нам, что изменения в метрике неслучайны.
Существенность — насколько изменения большие по своей величине, насколько большой размер эффекта (изменение метрики), который мы ловим.

Рассмотрим p-value в игре с монетой

Представьте, что у нас есть монета и нам необходимо определить, какая монета перед нами.
Честная монета — это та монетка, при броске которой с равной вероятностью выпадет орел или решка.

В нашем случае:

• Нулевая гипотеза — монета честная
• Альтернативная гипотеза — монета поддельная

Мы бросаем монету 100 раз и считаем, сколько раз выпал «орел» и сколько раз «решка».

Результат: Допустим, мы получили из 100 бросков 60 «орлов» и 40 результатов с «решкой».

В этом случае p-value составляет примерно 0.0284. Это означает, что вероятность получить 60 или более «орлов» из 100 бросков при условии, что монета честная (вероятность выпадения «орла» 0.5), составляет примерно 2.84%.

Порог значимости: Обычно порог значимости устанавливается на уровне 0.05 (5%). Поскольку наше p-value (0.0284) меньше этого порога, мы можем отвергнуть нулевую гипотезу.

Таким образом, на основании этого p-value мы можем сделать вывод, что полученный результат достаточно маловероятен для честной монеты, и, следовательно, у нас есть основания предположить, что монета может быть нечестной.

Как рассчитывается P-значение?

Расчет p-значения обычно включает в себя следующие этапы:

1. Сформулируйте нулевую гипотезу (H0): четко сформулируйте нулевую гипотезу, которая обычно утверждает, что между переменными нет первичной связи или результата.
2. Выберите альтернативную гипотезу (H1): определите альтернативную гипотезу, которая предполагает существование электрической связи или результата между переменными.
3. Определите статистический тест: вычислите статистический тест, который является мерой расхождения между наблюдаемыми данными и ожидаемыми значениями при нулевой гипотезе. Выбор статистического теста зависит от типа данных и вопроса исследования. Ниже приведена таблица с возможными вариантами статистического теста.
4. Определите критерии статистики испытаний: определите требования к выбору статистики испытаний при нулевой гипотезе. Этот метод представляет собой ожидаемые значения тестовой статистики, если нулевая гипотеза верна.
5. Распространите критическое значение: на основе наблюдательной тестовой статистики и выборочного распределения по результатам проверки получения наблюдательной тестовой статистики или более экстремальной, предполагая, что нулевая гипотеза верна.
6. Интерпретируйте результаты: сравните критическое значение с t-статистикой. Если t-статистика имеет большее критическое значение, это дает основание отвергнуть нулевую гипотезу, и наоборот.

Его интерпретация зависит от конкретного теста и контекстного анализа. Несколько популярных методов расчета статистического теста, которые используются при расчетах p-значений.

Тест	Сценарий	Интерпретация
Z-тест (Z-статистика)	Используется при работе с определенными выборками или когда известно стандартное отклонение генеральной формы.	Малое значение p (менее 0,05) указывает на большие доказательства против нулевой гипотезы, что приводит к ее отклонению.
Т-тест (Т-статистика)	Поправка для выбора малых размеров или когда неизвестно стандартное отклонение отклонения.	Аналогично Z-тесту
Тест Хи-квадрат (Chi-Square Test)	Используется для проверки независимости или согласия.	Небольшое значение p указывает на то, что между категориальными переменными существует значимая связь, что приводит к отклонению нулевых гипотез.
F-тест	Обычно используется в дисперсионном анализе (ANOVA) для сравнения дисперсий между результатами.	Малое p-значение предполагает, что хотя бы одно групповое среднее значение отличается от других, что приводит к отклонению нулевой гипотезы.
Тест соответствия (Correlation Test)	Измеряет силу и линию линейной связи между двумя непрерывными переменными.	Малое p-значение указывает на то, что между переменными существует значимая линейная связь, что приводит к отклонению нулевой гипотезы от другой зависимости.

Подборка самых распространенных тестов и что они проверяют

1. Тест Стьюдента (t-test)

Суть: Тест Стьюдента используется для проверки гипотезы о равенстве средних значений двух выборок. Основное предположение — нормальное распределение выборок и равенство дисперсий.
Когда применяется: Применяется, когда нужно сравнить средние значения двух групп (например, средний доход двух групп пользователей).
Когда уместен: Используется при сравнении двух выборок одинаковой дисперсии, которые распределены нормально.

2. Критерий Уэлча (Welch’s t-test)

Суть: Это модификация t-теста, предназначенная для сравнения средних двух выборок, которые могут иметь разные дисперсии.
Когда применяется: Применяется, когда необходимо сравнить средние значения двух групп, но предположение о равенстве дисперсий не выполняется.
Когда уместен: Используется, когда дисперсии выборок существенно отличаются, что часто бывает в реальных данных.

3. Тест Шапиро-Уилка

Суть: Тест Шапиро-Уилка проверяет гипотезу о нормальности распределения выборки.
Когда применяется: Применяется для проверки нормальности данных перед использованием тестов, требующих нормального распределения (например, t-тест).
Когда уместен: Используется перед применением тестов, чувствительных к распределению данных.

4. Критерий Колмогорова-Смирнова

Суть: Этот тест проверяет, насколько два эмпирических распределения похожи. Он также может использоваться для проверки гипотезы о том, что выборка принадлежит определенному теоретическому распределению.
Когда применяется: Применяется для сравнения двух выборок (критерий однородности Смирнова) или для проверки того, что выборка принадлежит определенному распределению (критерий Колмогорова).
Когда уместен: Используется, когда нужно сравнить распределения или проверить гипотезу о принадлежности выборки к определенному распределению.

Состоит из 2-х критериев:
Критерий однородности Смирнова: Выборка принадлежит некоторому закону распределения. Т. е., что эмпирическое распределение соответствует предполагаемой модели;
Критерий однородности Смирнова: Две независимые выбороки принадлежит одному закону распределения. Т. е., что два эмпирических распределения соответствуют одному и тому же закону.

5. Z-тест

Суть: Z-тест используется для сравнения среднего значения выборки с известным значением, когда дисперсия генеральной совокупности известна или выборка достаточно велика.
Когда применяется: Применяется, когда объем выборки велик (обычно n > 30) и известна дисперсия генеральной совокупности.
Когда уместен: Используется при сравнении средних значений, когда выполняются вышеуказанные условия.

6. Тест Манна-Уитни (U-тест)

Суть: Это непараметрический тест, используемый для сравнения медиан двух выборок. Он не требует нормальности распределения данных.
Когда применяется: Применяется, когда выборки не подчиняются нормальному распределению, и необходимо сравнить их центральные тенденции.
Когда уместен: Используется для сравнения рангов данных, когда предположение о нормальности нарушено.

7. Биномиальный тест

Суть: Биномиальный тест используется для проверки гипотезы о распределении успехов и неудач в выборке. Он проверяет, насколько наблюдаемое распределение отличается от ожидаемого.
Когда применяется: Применяется, когда есть бинарные исходы (например, успех/неудача) и необходимо сравнить частоту успехов с ожидаемой частотой.
Когда уместен: Используется при анализе данных, имеющих бинарные исходы, и при сравнении наблюдаемой и ожидаемой пропорции успехов.

8. Критерий согласия Пирсона (χ², Хи-квадрат)

Суть: Этот тест используется для проверки гипотезы о независимости двух категориальных переменных или для оценки соответствия наблюдаемого распределения теоретическому.
Когда применяется: Применяется для проверки гипотезы о связи двух категориальных переменных или для проверки гипотезы о равномерности распределения.
Когда уместен: Используется для анализа данных, представленных в виде таблиц сопряженности (contingency tables).

9. Критерий Фишера (F-тест)

Суть: F-тест используется для сравнения дисперсий двух выборок. Также применяется в рамках анализа дисперсий (ANOVA).
Когда применяется: Применяется, когда необходимо сравнить дисперсии двух выборок или оценить значимость различий между несколькими группами.
Когда уместен: Используется при проверке гипотез о равенстве дисперсий или при оценке значимости факторов в ANOVA.

10. Тест Краскела-Уоллиса (H-критерий)

Суть: Это непараметрический тест, используемый для проверки гипотезы о равенстве медиан нескольких независимых выборок.
Когда применяется: Применяется для сравнения более двух групп, когда данные не соответствуют нормальному распределению.
Когда уместен: Используется для сравнения рангов данных из нескольких групп при нарушении предположений о нормальности и равенстве дисперсий.

11. Критерий Дики-Фуллера (для временных рядов)

Суть: Этот тест проверяет гипотезу о наличии единичного корня (т.е. о стационарности) в временном ряду.
Когда применяется: Применяется для проверки стационарности временного ряда, что является важным шагом при моделировании временных рядов.
Когда уместен: Используется в анализе временных рядов, чтобы проверить необходимость дифференцирования данных для достижения стационарности.

Пример расчета p-value в Python

Как выполняется дизайн A/B теста? Как спроектировать и спланировать A/B тест?

Полезные материалы для изучения вопроса «Как спроектировать А Б тест?»:

• Дизайн A/B-тестов. Инструкция и шаблон
• Фреймворк для дизайна A/B-теста
• Калькулятор достоверности АB-тестов
• Полный гайд по A/B-тестированию
• Calculating Sample Sizes for A/B Tests (need VPN)

Предположим, что мы хотим исследовать как изменение цвета кнопки «Добавления товара в корзину» на странице с товаром повлияет на конверсию.

Для этого нам необходимо следовать определенной методологии. Вот как можно спроектировать этот тест:

1. Определение цели теста
Оценить влияние изменения цвета кнопки «В корзину» на конверсию (процент пользователей, добавляющих товар в корзину).

2. Гипотеза
Изменение цвета кнопки «В корзину» с текущего цвета на новый (например, с серого на зелёный) приведет к увеличению конверсии.

3. Определяем метрики

В процессе планирования A/B теста обычно выделяют несколько типов метрик, каждая из которых играет свою роль в анализе и принятии решений.

Ключевая метрика (Primary Metric): Это основная метрика, по которой будет оцениваться успех или неуспех эксперимента. Обычно она отражает наиболее важный бизнес-показатель, который и пытаются улучшить с помощью изменений.
Пример ключевой метрики: Конверсия, средний чек, удержание пользователей и т.д.
Основываясь на результатах по этой метрике, принимается решение о внедрении или отклонении предложенного изменения.

Прокси-метрика (Secondary Metric): Это дополнительная метрика, которая используется для того, чтобы получить более полное представление о влиянии изменений. Она не является основной, но помогает интерпретировать результаты.
Примеры: Время на сайте, количество просмотренных страниц, количество взаимодействий с определенными элементами.
Прокси-метрики могут помочь понять механизмы, которые привели к изменениям в ключевой метрике, или показать, как изменения влияют на другие важные аспекты поведения пользователей.

Метрика ухудшения (Guardrail Metric): Эта метрика используется для того, чтобы убедиться, что предлагаемые изменения не приводят к негативным последствиям. Например, изменение может увеличить конверсию, но при этом ухудшить пользовательский опыт или снизить выручку.
Примеры: Увеличение числа возвратов, снижение уровня удовлетворенности пользователей, рост нагрузки на серверы.
Метрика ухудшения позволяет зафиксировать случаи, когда изменения негативно влияют на какой-либо аспект бизнеса или работы системы, даже если ключевая метрика показывает положительный результат. Метрика ухудшения позволит избежать внедрения изменений, которые могут нанести вред в других областях.

4. Определяем параметры теста

Определяем тип теста одно-/двусторонний
Выбор между одно- и двусторонним тестом зависит от гипотезы. Если вы хотите проверить, что изменение может привести к любым значимым изменениям (в обе стороны), используйте двусторонний тест. Если вас интересует только улучшение или ухудшение — односторонний тест.

1. Ошибка I рода — это вероятность того, что при отсутствии экспериментального эффекта мы все равно обнаружим статистическую разницу через случайность. Это называется уровнем значимости ( ⍺ ) и обычно устанавливается на уровне 0,05 (или 5% вероятности).
2. Ошибка II рода — это вероятность ( β ), что реальный эффект ( MDE ) не даст значимых результатов. Мощность ( 1-β ) — это вероятность, что реальный эффект даст значимые результаты. Обычно мы устанавливаем мощность на 0,8 (80%) и β = 0,2.

Определяем параметры

a) Уровень значимости (Alpha, α)
Уровень значимости указывает на вероятность получить ложноположительный результат. Обычно 5% является стандартом в индустрии, однако для более критичных тестов можно установить более строгий уровень, например, 1%.

b) Мощность теста (Power, 1-β)
Мощность теста указывает на вероятность обнаружить настоящий эффект, если он существует. Чем выше мощность, тем меньше вероятность ошибки второго рода (ложноотрицательный результат). Обычно задается мощность 80%, что соответствует 20% вероятности не обнаружить существующий эффект.

c) Минимально детектируемый эффект (MDE)
MDE определяется на основе того, какое минимальное изменение вы хотите обнаружить. Это значение зависит от бизнес-целей и может быть основано на том, насколько важно для компании выявить даже небольшие изменения в конверсии.

MDE — это наименьший эффект, который вы хотите наблюдать в эксперименте. Хотя любой положительный эффект — это хорошая новость, меньшие эффекты сложнее измерить и требуют больше образцов и времени. Длительные и большие тесты с небольшими эффектами, как правило, не стоят того, чтобы их проводить. Знание этого поможет вам установить разумный MDE и определить, стоит ли эксперимент.

d) Конверсия в контрольной группе
Знание текущей конверсии важно для расчета размера выборки. Если точных данных нет, можно использовать оценочные значения, однако это может увеличить неопределенность в результатах теста.

Расчет размера выборки

Размер выборки — это ключевой параметр, определяющий достоверность результатов. Недостаточная выборка может привести к ошибочным выводам, тогда как чрезмерно большая выборка может быть нецелесообразной с точки зрения затрат и времени.

Для расчета размера выборки (n) в A/B тестировании используется следующая формула:

можно использовать калькулятор

 О чем говорит формула размера выборки для A/B теста? 

4. Разработка вариаций

Контрольная группа (A): Текущий дизайн страницы с исходным цветом кнопки «В корзину».
Тестовая группа (B): Измененный дизайн страницы с новым цветом кнопки «В корзину».

5. Сегментация пользователей

Определяем метод распределения трафика
Задача заключается в том, чтобы трафик был распределен случайным образом между контрольной и тестовой группами. Хотя 50/50 является наиболее распространенным вариантом, иногда используются другие соотношения (например, 70/30), особенно если контрольная группа должна оставаться стабильной и минимальной.

Пользователи, посещающие страницу товара, случайным образом делятся на две группы: контрольную (A) и тестовую (B).

6. Определение времени проведения теста
Время проведения теста (T) определяется количеством времени, необходимым для сбора необходимого объема данных (трафика) для каждой группы (контрольной и тестовой).

T = n / среднее количество посетителей в день

• n — рассчитанный размер выборки для каждой группы.
• Среднее количество посетителей в день — это среднее количество пользователей, которое приходит на ваш сайт каждый день.

7. Сбор данных
Использование аналитических инструментов (например, Google Analytics, Mixpanel или специализированного A/B тестирования инструмента типа Optimizely или VWO) для сбора данных по метрикам.

8. Анализ данных
Использование теста на пропорции для оценки значимости разницы в конверсии между контрольной и тестовой группами.
Построение доверительных интервалов для оценки точности измерений.

9. Оценка результатов
Если тестовая группа (B) показывает статистически значимое увеличение конверсии по сравнению с контрольной группой (A), изменение считается успешным.

10. Принятие решения
На основе анализа данных принимается решение о внедрении нового цвета кнопки «В корзину» на постоянной основе или отклонении изменений, если результаты не достигли статистической значимости.

11. Дополнительные шаги
В случае успеха теста могут быть проведены дополнительные A/B тесты для дальнейшего улучшения конверсии (например, изменение текста на кнопке, её размера и т.д.).

Примерный план A/B теста

Подготовка:

Установить инструменты аналитики и A/B тестирования.
Подготовить и протестировать вариации страницы.

Запуск теста:

Начать деление трафика на контрольную и тестовую группы.
Собрать данные по ключевым метрикам.

Мониторинг:

Регулярно проверять корректность работы теста.
Следить за промежуточными результатами.

Анализ и отчет:

После окончания теста провести детальный анализ данных.
Составить отчет с результатами и рекомендациями.

Учет сезонности:

Если ваш бизнес подвержен сезонным колебаниям, важно учитывать это при планировании теста и анализе его результатов.

Валидация результатов:

Рекомендуется повторить успешный тест на новой выборке, чтобы убедиться в устойчивости результатов.

Подробнее про прокси метрику

Прокси-метрика — это вспомогательная метрика, которая коррелирует с целевой, а также влияет и формирует целевую метрику.

Все верхнеуровневые бизнес-метрики так или иначе состоят из множества подметрик (пример, воронка конверсии: визит → регистрация → активация → оплата → возврат и т.п.).

Также, иногда нет хорошего способа напрямую измерить то, что вам нужно измерить, поэтому мы можем использовать другую метрику, которую мы можем измерить и которая коррелирует с той, которую мы не можем измерить.

Нарпимер, прокси метрика для понимания — ВВП на душу населения (где основная метрика – качество уровня жизни населения).

Прокси-метрики, при их грамотном выборе и интеграции, часто используются как вспомогательный аналитический инструмент, данные из которых могут сигнализировать о происходящих изменениях раньше, чем это будет отражено в основной метрике.

Более наглядные продуктовые примеры (прокси/бизнес метрики):

• Engagement → Retention
• Количество заказов → Оборот
• ARPU → LTV
• CAC → ROI
• ROI → Прибыль

Особенности работы с прокси-метриками:

• прокси-метрики может быть любая метрика, которая оказывает влияние на другую метрику и может с ней коррелировать;
• прокси-метрики более отзывчивые и чувствительны к изменениям, а значит через них быстрее/легче проверять некоторые гипотезы;
• прокси-метрики более коварны, чем основные (тот же Engagement можно хакнуть кликбейтом или dark patterns, но такой рост не будет работать для Retention в долгосрочной перспективе);
• прокси-метрики, в отличие от бизнесовых, могут устаревать со временем.

Например, если мы считаем количество взаимодействий пользователя с фичей, но спустя год мы ввели новую фичу с новыми механиками и метриками, на которую перетекла большая часть пользовательской активности. Все в недоумении и целый месяц ищут в чём же причина падения прокси-метрики, когда вот она.

Собственно, поэтому стоит пересматривать приоритеты прокси-метрик и их актуальность в новых пользовательских сценариях хотя бы раз в год.

Как рассчитывается экономика продукта

Экономика продукта — это понятие, которое используется для описания финансовых показателей продукта, таких как доход, расходы, прибыль, окупаемость и т.д. Для рассчета экономики продукта необходимо провести анализ финансовых показателей продукта и принять во внимание следующие факторы:

1. Стоимость разработки продукта: здесь включаются затраты на разработку и проектирование продукта, рекламу и маркетинговые кампании, подготовку инфраструктуры и прочие затраты.
2. Стоимость производства: здесь включаются затраты на производство продукта, такие как зарплата сотрудников, аренда помещений, закупка оборудования и сырья и т.д.
3. Цена продажи: это цена, по которой продукт будет продаваться на рынке.
4. Объем продаж: это количество продукта, которое планируется продать за определенный период времени.
5. Стоимость поддержки: это затраты на поддержку продукта после его внедрения, такие как обслуживание клиентов, исправление ошибок, обновление продукта и т.д.

После того, как все факторы были учтены, можно рассчитать финансовые показатели продукта, такие как:

1. Доход: это общая сумма денег, полученная от продаж продукта.
2. Расходы: это сумма денег, потраченная на разработку, производство и поддержку продукта.
3. Прибыль: это разница между доходами и расходами.
4. Окупаемость: это количество времени, необходимое для того, чтобы прибыль от продажи продукта покрыла затраты на его разработку и производство.
5. Рентабельность: это отношение прибыли к общим затратам на продукт.

Рассчитывая экономику продукта, можно оценить его финансовую эффективность и определить, является ли продукт прибыльным и окупаемым. Это важно для принятия решений о дальнейшем развитии и масштабировании продукта.

Unit-экономика

Unit-экономика — это методика анализа бизнес-модели, которая позволяет продуктовым аналитикам оценивать финансовую эффективность продукта путем разбиения его на отдельные единицы. Она используется для определения прибыльности продукта или функционала, чтобы определить, стоит ли его дальнейшее развитие или нет.

Unit-экономика позволяет выявить, какие элементы продукта или функционала приносят наибольшую прибыль и как можно улучшить другие элементы, чтобы увеличить общую прибыль. Этот метод также позволяет продуктовым аналитикам определить, какие параметры продукта, такие как цена, скидки, маркетинговые акции и другие, влияют на прибыльность продукта.

Продуктовый аналитик, использующий методику Unit-экономики, должен иметь доступ к данным, которые позволяют измерять различные метрики производительности продукта, такие как прибыль, выручка, средний чек, LTV (жизненная ценность клиента), CAC (стоимость привлечения клиента) и другие. Эти метрики могут быть измерены как в целом для продукта, так и для каждого отдельного юнита (например, для каждого пользователя).

При использовании методики Unit-экономики продуктовый аналитик должен оценить каждый элемент продукта по отдельности, чтобы понять его рентабельность и выявить проблемные зоны. Например, если определенная функция продукта не приносит достаточной прибыли, то продуктовый аналитик может рекомендовать ее оптимизировать или убрать.

Unit-экономика также позволяет продуктовому аналитику определить точку безубыточности продукта, которая показывает, сколько нужно продать продукта, чтобы покрыть все расходы на его разработку и маркетинг. Эта точка является важным показателем для любого бизнеса, который хочет быть рентабельным.

В целом, Unit-экономика является важным инструментом для продуктового аналитика, который помогает оценить финансовую эффективность продукта и выявить проблемные зоны.

Школа менеджмента — Юнит-экономика или поиск точек кратного роста. Илья Красинский

Топ 50 продуктовых метрик

Существует множество метрик, которые могут быть полезны для продуктового анализа, но вот топ-30 продуктовых метрик, которые наиболее распространены и полезны для продуктовых аналитиков:

1. Количество пользователей (Users) — это общее количество зарегистрированных пользователей на сайте или в приложении.
2. Количество активных пользователей (DAU, WAU, MAU) — это количество пользователей, которые посещают сайт или приложение в течение дня (Daily Active Users, DAU), недели (Weekly Active Users, WAU) или месяца (Monthly Active Users, MAU). Этот показатель помогает определить уровень удержания и вовлеченности пользователей.
   • MAU, WAU, и DAU рассчитываются как количество уникальных пользователей, которые использовали приложение в течение месяца (MAU), недели (WAU) или дня (DAU) соответственно.
     Пример для расчета WAU:
     
     WITH weekly_data AS ( SELECT DATE_TRUNC('week', timestamp_column) AS week, user_id FROM events_table ) SELECT week, COUNT(DISTINCT user_id) AS WAU FROM weekly_data GROUP BY week ORDER BY week;

     1 2 3 4 5 6 7 8

     WITH weekly_data AS (   SELECT DATE_TRUNC('week', timestamp_column) AS week, user_id   FROM events_table ) SELECT week, COUNT(DISTINCT user_id) AS WAU FROM weekly_data GROUP BY week ORDER BY week;

   • Количество активных пользователей (Active Users) — показывает, сколько людей на самом деле пользуются приложением. Метрика выражает полезность приложения. (зависит от типа действия в приложении, которые могут различаться в зависимости от типа приложения).
   • DAU/MAU Ratio (Daily Active Users / Monthly Active Users Ratio) — это метрика, которая показывает уровень вовлеченности пользователей в мобильное приложение. Она рассчитывается как отношение количества уникальных активных пользователей за день (DAU) к количеству уникальных активных пользователей за месяц (MAU).
     Зачем это нужно:Оценка вовлеченности: DAU/MAU Ratio показывает, насколько часто пользователи возвращаются в приложение. Чем выше этот коэффициент, тем выше вовлеченность.
     Анализ здоровья продукта: Он помогает понять, насколько успешно приложение удерживает пользователей. Например, коэффициент 0.2 (или 20%) означает, что в среднем пользователи заходят в приложение 6 дней в месяц.
     Отслеживание динамики: Важно отслеживать изменения коэффициента во времени, чтобы выявлять улучшения или ухудшения взаимодействия пользователей с приложением.

     Как рассчитать DAU/MAU Ratio с помощью SQL?
     Предположим, у нас есть таблица user_actions, где:
     user_id — идентификатор пользователя,
     action_date — дата активности пользователя.

     WITH daily_active_users AS ( SELECT action_date, COUNT(DISTINCT user_id) AS dau FROM user_actions WHERE action_date BETWEEN '2024-07-01' AND '2024-07-31' GROUP BY action_date ), monthly_active_users AS ( SELECT COUNT(DISTINCT user_id) AS mau FROM user_actions WHERE action_date BETWEEN '2024-07-01' AND '2024-07-31' ) SELECT AVG(dau) / (SELECT mau FROM monthly_active_users) AS dau_mau_ratio FROM daily_active_users;

     1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

     WITH daily_active_users AS (     SELECT         action_date,         COUNT(DISTINCT user_id) AS dau     FROM         user_actions     WHERE         action_date BETWEEN '2024-07-01' AND '2024-07-31'     GROUP BY         action_date ), monthly_active_users AS (     SELECT         COUNT(DISTINCT user_id) AS mau     FROM         user_actions     WHERE         action_date BETWEEN '2024-07-01' AND '2024-07-31' ) SELECT     AVG(dau) / (SELECT mau FROM monthly_active_users) AS dau_mau_ratio FROM     daily_active_users;

3. Количество новых пользователей (New Users) — это количество пользователей, которые зарегистрировались на сайте или в приложении в определенный период времени. Этот показатель помогает оценить эффективность маркетинговых кампаний и привлечения новых пользователей.
4. Количество отказов (Bounce rate) — процент пользователей, которые покинули сайт или приложение после просмотра только одной страницы или выполнения одного действия, не взаимодействуя с другими страницами или функционалом. Эта метрика часто используется для оценки качества посадочных страниц и эффективности пользовательского опыта на сайте или в приложении.
   Зачем нужна метрика «Bounce Rate»:
   Оценка качества контента: Высокий показатель отказов может означать, что контент на странице не удовлетворяет потребности пользователя.
   Оптимизация пользовательского опыта: Если пользователи быстро покидают сайт, это может указывать на проблемы с навигацией, временем загрузки или другим аспектом UX.
   Маркетинговая эффективность: Если рекламные кампании привлекают пользователей, которые сразу уходят, это может свидетельствовать о плохом целевом таргетировании.
5. Количество просмотров страницы (Views) — это количество раз, когда страница была открыта на сайте или в приложении. Этот показатель позволяет определить популярность и востребованность контента.
6. Время нахождения на сайте/в приложении — это среднее время, которое пользователь проводит на сайте или в приложении. Этот показатель помогает определить уровень вовлеченности пользователей и качество контента.
7. Конверсия (Conversion Rate, CR) — это процент пользователей, которые выполнили целевое действие на сайте или в приложении (например, оформили заказ, заполнили форму или подписались на рассылку). Этот показатель позволяет определить эффективность маркетинговых кампаний и пользовательского интерфейса.
8. Воронка продаж — это последовательность этапов, которые пользователь проходит, прежде чем совершить покупку на сайте или в приложении. Этот показатель позволяет определить, на каком этапе пользователи чаще всего отказываются от покупки, и оптимизировать процесс продаж.
9. Значение жизненного цикла клиента (LTV) — это ожидаемая прибыль от клиента за все время его пользования продуктом. Этот показатель помогает определить, сколько компания может тратить на привлечение новых пользователей и удержание существующих.
10. Ретеншн (удержание пользователей — Customer Retention Rate) — это показатель, который отражает, насколько успешно продукт удерживает пользователей и какой процент пользователей возвращается для повторного использования. Обычно рассчитывается как отношение числа активных пользователей за определенный период к числу пользователей на начало периода.
11. Churn Rate (отток пользователей) — это показатель, который отражает долю пользователей, которые перестали использовать продукт за определенный период. Это важный показатель для понимания того, насколько успешно удерживаются пользователи и какие причины ведут к их уходу.
12. Средний чек (Average order value, AOV) — это средняя сумма, которую пользователь тратит на продукт за один раз или за определенный период. Этот показатель позволяет оценить, насколько выгодным является каждый пользователь для компании.
13. Расходы на привлечение клиентов (Customer Acquisition Cost, CAC) — это сумма денег, которые компания тратит на привлечение новых пользователей. Это может включать в себя расходы на маркетинг, рекламу, продвижение продукта и другие мероприятия. Рассчитывается как отношение расходов на привлечение клиентов к количеству новых клиентов.
14. CAC / LTV Ratio — это отношение между расходами на привлечение клиентов (CAC) и значением жизненного цикла клиента (LTV). Этот показатель позволяет оценить, насколько выгодно привлечение новых пользователей для компании.
    Значение жизненного цикла клиента (LTV) — это ожидаемая сумма, которую компания получит от одного клиента за весь период использования продукта. Он рассчитывается как произведение среднего чека на период использования продукта и коэффициента удержания.
15. Чистая привлекательность (Net Promoter Score) — это показатель, который позволяет оценить уровень удовлетворенности клиентов продуктом. Он основан на ответах клиентов на вопрос о том, насколько вероятно, что они порекомендуют продукт своим друзьям или коллегам. Рассчитывается как разность между процентом промоутеров (те, кто ответил 9-10) и процентом детракторов (те, кто ответил 0-6).
16. Удобство использования (Usability Score) — это метрика, используемая для измерения того, насколько просто и удобно пользователи могут использовать продукт. Она может быть оценена посредством анкетирования пользователей, проведения тестирования пользовательского интерфейса и анализа данных взаимодействия пользователей с продуктом.
17. Average Revenue Per User (ARPU) или [Средний доход с одного пользователя] — это метрика, которая показывает среднюю сумму денег, которую каждый пользователь тратит в продукте за определенный период времени. Это может помочь компании оценить эффективность своей монетизационной стратегии и определить возможности для увеличения дохода.
    • Average Revenue Per Paying User (ARPPU) – средний доход с одного платящего пользователя. Позволяет понять доход, получаемый с каждого платящего клиента (в интернет-магазине, приложении).
    • Paying Share – среднее число клиентов, которые сделали покупку, по отношению к общему числу пользователей продукта.
    • ARPU относится вообще ко всем пользователям за рассматриваемый период, а ARPPU — только к тем пользователям, которые совершили оплату.
    • ARPU = Revenue / (DAU или WAU или MAU)
    • ARPPU = ARPU * Paying Share
    • или ARPPU = Revenue / Paying Users
    • простой пример расчета ARPPU в sql:

    • select to_char(eventtime, 'YYYY-mm-dd') as day, sum(priceusd) as "Gross", count(user_id) as "Transactions", count(distinct user_id) as "Paying users", avg(priceusd) as "Average check", sum(priceusd)/count(distinct user_id)) as "ARPPU" from myproduct.payments where eventtime>=current_date - interval '1 month' and eventtime < current_date group by 1

      1 2 3 4 5 6 7 8 9 10 11

      select to_char(eventtime, 'YYYY-mm-dd') as day, sum(priceusd) as "Gross", count(user_id) as "Transactions", count(distinct user_id) as "Paying users", avg(priceusd) as "Average check", sum(priceusd)/count(distinct user_id)) as "ARPPU"   from myproduct.payments where eventtime>=current_date - interval '1 month' and eventtime < current_date group by 1

18. Маржинальность — это метрика, которая показывает, какой процент выручки компании является прибылью после вычета всех затрат на производство и продажу продукта. Она может помочь компании определить, насколько успешно она управляет своими расходами и увеличивает свою прибыльность.
19. Общее количество заказов — это метрика, которая отображает количество всех заказов, сделанных пользователями за определенный период времени. Она может помочь компании оценить популярность продукта и определить, какие маркетинговые и продуктовые стратегии работают наилучшим образом.
20. Среднее количество заказов на пользователя — это метрика, которая показывает, сколько заказов совершает каждый пользователь за определенный период времени в среднем. Это может помочь компании понять, насколько лояльны ее клиенты и какие продуктовые функции или маркетинговые кампании могут увеличить количество заказов на пользователя.
21. Среднее время ожидания заказа — это метрика, которая показывает среднее время, которое требуется для обработки заказа и его подготовки к доставке. Она может быть особенно важна для компаний, которые работают в сфере электронной коммерции, где скорость и качество доставки являются важными факторами для удовлетворенности клиентов.
22. Среднее время доставки заказа — это метрика, которая показывает среднее время, которое требуется для доставки заказа после его обработки. Эта метрика может быть особенно важна для компаний, которые занимаются доставкой товаров или услуг, таких как рестораны, курьерские службы или интернет-магазины.
23. Количество добавленных в корзину товаров — это метрика, которая показывает, сколько товаров добавлено в корзину покупателя за определенный период времени. Она может помочь компаниям понять, насколько привлекательными являются их товары или услуги для потребителей.
24. Среднее количество добавленных в корзину товаров на пользователя — это метрика, которая показывает среднее количество товаров, добавленных в корзину каждым пользователем за определенный период времени. Она может помочь компаниям понять, какие товары или услуги наиболее популярны среди клиентов, и какие из них могут быть более привлекательными для продвижения.
    Также используются другие метрики, для анализа как пользователи взаимодействуют с корзиной по этапам:
    • Add to Cart Rate – доля пользователей, добавивших товар в корзину.
    • Cart Abandonment Rate – доля пользователей, которая добавила товар в корзину, но ушла, не начав оформление заказа.
    • Check Out Rate – доля пользователей, добавивших товар в корзину и начавших оформление заказа.
25. Количество возвращений — это метрика, которая показывает, сколько раз клиенты возвращаются к компании или к ее товарам и услугам за определенный период времени. Она может помочь компаниям понять, насколько успешно они удерживают клиентов и какие аспекты их продукта или сервиса могут быть улучшены, чтобы увеличить уровень удовлетворенности клиентов.
26. Количество возвратов — это метрика, которая отражает количество товаров, которые были возвращены клиентами. Она является важным показателем для интернет-магазинов и компаний, которые занимаются продажей товаров, так как возвраты могут негативно сказываться на финансовом состоянии компании и на ее репутации.
27. Средний рейтинг продукта — это метрика, которая отражает удовлетворенность клиентов продуктом. Рейтинг обычно измеряется в звездах или баллах, и клиенты могут оставлять отзывы и комментарии к продукту. Высокий рейтинг говорит о том, что продукт пользуется спросом, а низкий — что необходимы улучшения.
28. Количество обращений в службу поддержки — это метрика, которая отражает количество обращений клиентов в службу поддержки компании. Эта метрика позволяет компании понять, какие проблемы встречаются у клиентов и насколько хорошо они обслуживаются.
29. Среднее время решения проблемы клиента — это метрика, которая отражает время, за которое служба поддержки компании решает проблемы клиентов. Эта метрика очень важна для удовлетворенности клиентов, так как чем быстрее компания решает проблемы клиентов, тем выше вероятность их лояльности.
30. Количество просмотров вакансии — это метрика, которая отражает количество просмотров вакансии компании. Она позволяет компаниям понять, как привлекательна их компания для потенциальных сотрудников и насколько эффективна их стратегия поиска кандидатов.
31. Количество пользователей, пришедших с поисковых систем (Organic Search Traffic) — это количество пользователей, которые нашли ваш сайт или приложение в поисковой выдаче, например, в Google, используя поисковый запрос. Эта метрика показывает, насколько хорошо вы оптимизировали свой контент и сайт для поисковых систем.
32. Количество пользователей, пришедших с социальных сетей (Social Media Traffic) — это количество пользователей, которые пришли на ваш сайт или приложение через социальные сети, такие как Facebook, Twitter или Instagram. Эта метрика показывает, насколько хорошо вы используете социальные сети для привлечения трафика и распространения вашего контента.
33. Количество пользователей, пришедших с рекламных кампаний (Paid Traffic) — это количество пользователей, которые пришли на ваш сайт или приложение через платные рекламные кампании, например, через рекламу в Google AdWords или Facebook Ads. Эта метрика показывает, насколько эффективно вы используете свой бюджет на рекламу.
34. Среднее время, проведенное на странице (Average Time on Page) — это среднее время, которое пользователи проводят на определенной странице вашего сайта или приложения. Эта метрика показывает, насколько интересен и содержателен ваш контент на странице. Она также может помочь выявить проблемы с загрузкой страницы или с тем, что пользователи не находят то, что искали.
35. Среднее количество страниц, просмотренных за один сеанс (Pages per Session) — это среднее количество страниц, которые пользователи просматривают за один визит на ваш сайт или в приложение. Эта метрика показывает, насколько хорошо вы организовали свой контент и насколько легко пользователи находят нужную информацию на вашем сайте или в приложении. Она также может помочь выявить проблемы с навигацией на сайте или в приложении.
36. Количество регистраций (Sign-ups) — это метрика, которая отображает количество пользователей, зарегистрировавшихся на сайте, в приложении или на другой платформе. Эта метрика помогает понять, насколько привлекательным является продукт для пользователей и насколько успешно привлекаются новые пользователи.
37. Количество подписчиков (Subscribers) — это метрика, которая отображает количество пользователей, подписавшихся на рассылку электронных писем, сообщения в социальных сетях или другие информационные материалы от компании. Эта метрика помогает понять, насколько эффективна маркетинговая стратегия компании и насколько лояльны пользователи.
38. Количество отписок (Unsubscribes) — это метрика, которая отображает количество пользователей, отписавшихся от рассылки электронных писем, сообщения в социальных сетях или других информационных материалов от компании. Эта метрика помогает понять, насколько эффективна маркетинговая стратегия компании и насколько лояльны пользователи.
39. Количество активаций (Activations) — это метрика, которая отображает количество пользователей, которые выполнили определенное действие, например, создание аккаунта, установку приложения или выполнение первой покупки. Эта метрика помогает понять, насколько успешно привлекаются и удерживаются новые пользователи.
40. Количество деактиваций (Deactivations) — это метрика, которая отображает количество пользователей, которые отказались от использования продукта, удалив аккаунт, отключив уведомления или прекратив пользоваться приложением. Эта метрика помогает понять, насколько эффективна стратегия удержания клиентов и насколько привлекательным является продукт для пользователей.
41. Среднее время нахождения в приложении (Average Session Duration) — это метрика, которая отображает среднее время, которое пользователь проводит в приложении во время одной сессии. Она используется для определения того, насколько увлекательным является продукт, и может помочь продуктовым аналитикам в определении областей для улучшения пользовательского опыта.
42. Количество пройденных уровней в игре (Levels Completed) — это метрика, которая показывает, сколько уровней было пройдено пользователями в игре. Она используется для определения уровня заинтересованности пользователей в игре и может помочь продуктовым аналитикам в определении того, насколько увлекательной является игра для пользователей, и какие изменения могут быть внесены для улучшения игрового опыта.
43. Количество собранных бонусов в игре (Bonuses Collected) — это метрика, которая отображает, сколько бонусов было собрано пользователями в игре. Она используется для определения того, насколько пользователи заинтересованы в дополнительных возможностях в игре и как можно улучшить процесс сбора бонусов.
44. Количество сделанных покупок на определенной странице (Page Conversions) — это метрика, которая отображает, сколько пользователей сделали покупку на определенной странице. Она используется для измерения эффективности страницы и может помочь продуктовым аналитикам в определении областей, где можно улучшить пользовательский опыт и увеличить конверсию.
45. Среднее время, потраченное на просмотр видео (Average Video View Time) — это метрика, которая показывает, сколько времени пользователи проводят на просмотре видео. Она используется для измерения того, насколько привлекательным является видео для пользователей, и может помочь продуктовым аналитикам в определении того, как улучшить качество видео и сделать его более привлекательным для пользователей.
46. Количество просмотров видео (Video Views) — это метрика, которая показывает, сколько раз было просмотрено видео на платформе или сайте. Она позволяет оценить популярность видео-контента и его влияние на посетителей.
47. Количество покупок (Purchases) — это метрика, которая показывает количество раз, когда пользователь совершил покупку на сайте или в приложении. Она является ключевой метрикой для интернет-магазинов и других компаний, работающих с продажами.
48. Средний размер покупки (Average Order Value) — это метрика, которая показывает средний размер заказа на сайте или в приложении. Она рассчитывается путем деления общей выручки на количество покупок. Она помогает оценить, насколько успешным является бизнес в продажах и узнать, какие изменения нужно внести в стратегию продаж.
49. Количество отзывов на продукт (Product Reviews) — это метрика, которая показывает, сколько отзывов о продукте оставили пользователи. Она позволяет оценить удовлетворенность клиентов продуктом, а также узнать, какие аспекты нужно улучшить.
50. Количество пользователей, перешедших на платный тариф (Premium Upgrades) — это метрика, которая показывает, сколько пользователей перешли на платный тариф в приложении или на сайте. Она помогает оценить популярность платных тарифов, а также узнать, какие функции и возможности стоит добавить в платный тариф, чтобы увеличить количество пользователей, перешедших на платный тариф.

Эти метрики помогают продуктовым аналитикам понимать, как пользователи взаимодействуют с продуктом, и могут помочь определить, какие изменения нужно внести в продукт для улучшения его производительности и функциональности.

Подборка других статей с расчетом продуктовых метрик (или других метрик по разным направлениям деятельности компаний)

• Cписки метрик для 7 бизнес-моделей: от SaaS до e-commerce

Виды продуктовых метрик с примерами

Продуктовые метрики делятся на несколько типов в зависимости от их функции и цели:

1. Основные метрики. Они отражают цель продукта и принимаются во внимание при принятии решений по улучшению продукта. Некоторые примеры основных метрик:

• Конверсия (Conversion Rate) — отношение количества пользователей, совершивших целевое действие (покупку, регистрацию и т.д.), к общему числу пользователей. Например, если из 100 посетителей сайта 10 сделали покупку, конверсия составит 10%.
• Средний чек (Average Order Value) — средний размер покупки. Вычисляется как отношение общей выручки к количеству продаж. Например, если за месяц было продано товаров на 100 000 рублей, а число продаж составило 500 штук, средний чек составит 200 рублей.
• Воронка продаж (Sales Funnel) — отображает этапы процесса продажи и позволяет определить, где возникают проблемы. Например, воронка продаж может состоять из таких этапов, как просмотр товаров, добавление в корзину, оформление заказа, оплата, доставка.

2. Вспомогательные метрики. Они используются для проверки гипотез и контроля реализации новых функций продукта. Некоторые примеры вспомогательных метрик:

• A/B тесты (A/B Testing) — тестирование двух вариантов продукта (например, разные цвета кнопки) с целью определения, какой вариант работает лучше.
• Время загрузки страницы (Page Load Time) — время, которое требуется для загрузки страницы. Быстрое время загрузки страницы повышает удобство использования продукта и увеличивает конверсию.
• Соотношение отказов (Bounce Rate) — отношение числа пользователей, покинувших сайт после просмотра только одной страницы, к общему числу посетителей. Высокий уровень отказов может свидетельствовать о неудобстве использования продукта или о неверно подобранной целевой аудитории.

3. Контрольные метрики

Контрольные метрики также важны для продуктового аналитика, так как они позволяют оценить, что было сломано или ухудшено при внесении изменений в продукт. Эти метрики помогают ответить на вопросы, связанные с техническим состоянием продукта и определить, на каких этапах пользовательского опыта возникают проблемы.

Некоторые примеры контрольных метрик включают в себя:

• Среднее время ответа сервера (Server Response Time) — показывает время, затраченное на обработку запроса пользователя сервером. Если время ответа увеличивается, это может указывать на проблемы с инфраструктурой, которые нужно исправить.
• Количество ошибок (Error Rate) — отражает число ошибок, которые происходят на странице или в приложении. Если количество ошибок увеличивается, это может указывать на проблемы с кодом, которые нужно исправить.
• Количество отказов (Bounce Rate) — отражает процент пользователей, которые покидают сайт или приложение сразу после перехода на него. Если количество отказов увеличивается, это может указывать на проблемы с пользовательским интерфейсом, которые нужно исправить.

Контрольные метрики помогают продуктовым аналитикам быстро выявлять проблемы и исправлять их, чтобы улучшить пользовательский опыт и увеличить конверсию.

Продуктовые метрики и их связь с бизнес-метриками

Продуктовая аналитика: инструменты. Дмитрий Животворев, Яндекс

Analytics Day, Александр Сергеев — «Продуктовая аналитика и выбор метрик»

Ключевые показатели эффективности маркетинга и работы сайта

1. ROMI (Return on Marketing Investment) — возврат на маркетинговые инвестиции.
2. Соотношение расходов на продвижение к доходам — этот показатель должен быть меньше маржинальности.

ROMI рассчитывается как разность валовой прибыли и затрат на продвижение, разделённая на затраты на продвижение.

Также описаны основные показатели для оценки эффективности сайта:

• Коэффициент конверсии — процент пользователей, выполнивших целевое действие (покупка, установка приложения и т.д.).
• TSS (Time Spent on Site) — время на сайте, продолжительность взаимодействия пользователя с площадкой, измеряется в минутах.
• PPV (Pages Per Visit) — глубина просмотра, среднее число страниц, просмотренных за визит.
• BR (Bounce Rate) — показатель отказов, доля пользователей, пробывших на сайте менее 15 секунд.

CAR — коэффициент брошенных корзин. Процент пользователей, которые добавили товар в корзину или начали оформление заказа, но не завершили покупку.

Для оценки качества рекламной кампании:

• Reach — доля целевой аудитории, которая контактировала с рекламой.
• CPC (Cost per Click) — стоимость клика по рекламному объявлению.
• CTR (Click-Through Rate) — показатель кликабельности (отношение количества кликов к числу показов объявления).
• CPM (Cost per Mille) — стоимость 1000 показов рекламного объявления.

Для понимания эффективности:

• CPV (Cost per Visitor) — стоимость привлечения одного посетителя.
• CPL (Cost per Lead) — стоимость лида или заявки.
• CAC (Customer Acquisition Cost) — стоимость привлечения клиента.
• AOV (Average Order Value) — средний чек или счёт.
• ARPU (Average Revenue per User) — доход с одного пользователя за период.
• ARPPU (Average Revenue per Paying User) — доход с одного клиента за период.
• LTV (Lifetime Value) — доход за весь жизненный цикл взаимодействия клиента с компанией.

Срок окупаемости CAC — время, необходимое для того, чтобы вернуть деньги, потраченные на привлечение одного клиента. Важен для SaaS-бизнесов с длинным циклом продаж.
MRR (Monthly Recurring Revenue) — регулярный месячный доход (для подписной модели).
Revenue Churn — показатель оттока дохода (для подписной модели).

Для понимания качества продукта:

• DAU, WAU, MAU — количество уникальных пользователей в день, неделю и месяц (в основном для игр и мобильных приложений).
• Average Session Length — средняя продолжительность одной сессии (для игр и мобильных приложений).
• Lifetime — время использования сервиса или приложения от первого до последнего входа.
• Paying Share — доля пользователей, совершивших платёж среди всех активных пользователей.
• CRR (Customer Retention Rate) — показатель удержания клиентов.
• PF (Purchase Frequency) — частота покупок.
• RPR (Repeat Purchase Rate) — доля повторных покупок.
• NPS (Net Promoter Score) — индекс лояльности клиентов, отношение доли сторонников к доле критиков.

Эти показатели помогают в анализе эффективности работы продукта, особенно для подписных моделей и мобильных приложений.

Фреймворки продуктовой аналитики HEART, PULSE и AAARRR

Фреймворки продуктовой аналитики являются важным инструментом для понимания и оптимизации пользовательского опыта на цифровых платформах. Они предоставляют структуру и методологию для сбора, анализа и использования данных, связанных с поведением пользователей, с целью определения и улучшения ключевых показателей производительности продукта. В данной статье мы рассмотрим три популярных фреймворка продуктовой аналитики: Фреймворк HEART, Фреймворк PULSE и Воронка AAARRR (или AARRR).

Фреймворк HEART

HEART — это аббревиатура от показателей «Happiness», «Engagement», «Adoption», «Retention» и «Task success». Каждый из этих показателей представляет собой определенный аспект пользовательского опыта, который может быть измерен и оптимизирован. Фреймворк HEART является инструментом, который помогает определить, какие из этих показателей являются наиболее важными для конкретной цифровой платформы и какие из них следует измерять и улучшать.

1. Happiness (удовлетворенность) — этот показатель отражает, насколько пользователи довольны продуктом и какие эмоции он вызывает у них. Для измерения удовлетворенности пользователей можно использовать опросы, обратную связь, оценки и другие инструменты.
2. Engagement (вовлеченность) — этот показатель отражает, насколько активно пользователи взаимодействуют с продуктом и как часто они его используют. Для измерения вовлеченности можно использовать такие метрики, как частота использования, продолжительность сессии, количество взаимодействий и другие.
3. Adoption (принятие) — этот показатель отражает, насколько успешно пользователи начинают использовать продукт и насколько он соответствует их потребностям. Для измерения принятия можно использовать такие метрики, как количество новых пользователей, скорость принятия продукта, процент завершения регистрации и другие.
4. Retention (удержание) — этот показатель отражает, насколько успешно продукт удерживает пользователей и какой процент пользователей возвращается для повторного использования. Для измерения удержания можно использовать такие метрики, как процент оттока пользователей, среднее время жизни пользователя (LTV), частота повторных визитов и другие.
5. Task success (успешность задач) — этот показатель отражает, насколько успешно пользователи могут выполнить задачи на продукте и как легко им это удается. Для измерения успешности задач можно использовать такие метрики, как скорость выполнения задачи, количество ошибок при выполнении задачи и другие.

Фреймворк PULSE

PULSE — это аббревиатура от показателей «Performance», «Usability», «Loyalty», «Satisfaction» и «Engagement». Каждый из этих показателей представляет собой ключевой аспект продукта, который можно измерять и оптимизировать. Фреймворк PULSE является инструментом, который помогает определить, какие из этих показателей являются наиболее важными для конкретного продукта и какие из них следует измерять и улучшать.

1. Performance (производительность) — этот показатель отражает, насколько быстро и без ошибок работает продукт. Для измерения производительности можно использовать такие метрики, как время загрузки страниц, скорость ответа сервера и другие.
2. Usability (удобство использования) — этот показатель отражает, насколько просто и интуитивно понятен продукт для пользователей. Для измерения удобства использования можно использовать такие метрики, как количество кликов, время на выполнение задачи и другие.
3. Loyalty (лояльность) — этот показатель отражает, насколько верным и постоянным является пользователь к продукту. Для измерения лояльности можно использовать такие метрики, как процент повторных покупок, уровень удовлетворенности и другие.
4. Satisfaction (удовлетворенность) — этот показатель отражает, насколько доволен пользователь продуктом и какие эмоции он вызывает у него. Для измерения удовлетворенности можно использовать опросы, обратную связь, оценки и другие инструменты.
5. Engagement (вовлеченность) — этот показатель отражает, насколько активно пользователи взаимодействуют с продуктом и как часто они его используют. Для измерения вовлеченности можно использовать такие метрики, как частота использования, продолжительность сессии, количество взаимодействий и другие.

Воронка AAARR

Воронка AAARRR (иногда также называемая AARRR) — это фреймворк, который используется для анализа процесса продаж и удержания пользователей. Он состоит из пяти этапов, каждый из которых представляет собой ключевой момент в жизненном цикле продукта.

1. Acquisition (привлечение) — этот этап отражает, насколько успешно продукт привлекает новых пользователей. Для измерения эффективности этого этапа можно использовать такие метрики, как количество посетителей на сайте, количество скачиваний приложения, количество зарегистрированных пользователей и другие.
2. Activation (активация) — этот этап отражает, насколько успешно продукт удается вовлечь пользователей и побудить их к первому использованию продукта. Для измерения эффективности этого этапа можно использовать такие метрики, как количество активированных пользователей, процент пользователей, которые завершили регистрацию или настроили свой профиль, и другие.
3. Retention (удержание) — этот этап отражает, насколько успешно продукт удерживает пользователей и какой процент пользователей возвращается для повторного использования. Для измерения эффективности этого этапа можно использовать такие метрики, как процент оттока пользователей, среднее время жизни пользователя (LTV), частота повторных визитов и другие.
4. Revenue (доход) — этот этап отражает, насколько успешно продукт генерирует доход. Для измерения эффективности этого этапа можно использовать такие метрики, как средний чек, общий объем продаж, количество транзакций и другие.
5. Referral (реферрал) — этот этап отражает, насколько успешно продукт способствует привлечению новых пользователей через рекомендации существующих пользователей. Для измерения эффективности этого этапа можно использовать такие метрики, как количество новых пользователей, привлеченных через реферральные программы, и другие.

Воронка AAARRR может помочь компаниям понять, какие этапы процесса продаж и удержания пользователей являются наиболее эффективными, а также определить, какие метрики следует использовать для измерения успеха каждого этапа.

Оптимизация процесса продаж и удержания пользователей может помочь компаниям увеличить свой доход и улучшить пользовательский опыт. Для этого необходимо понимать, какие метрики следует использовать для измерения успеха каждого этапа воронки AAARRR.

Например, для измерения эффективности этапа Acquisition можно использовать метрики, такие как конверсия с сайта на регистрацию, конверсия с рекламы на регистрацию, конверсия с поисковых запросов на регистрацию и другие.

Для измерения эффективности этапа Activation можно использовать метрики, такие как количество завершенных регистраций, количество заполненных профилей пользователей, количество активных пользователей и другие.

Для измерения эффективности этапа Retention можно использовать метрики, такие как процент оттока пользователей, среднее время жизни пользователя (LTV), частота повторных визитов и другие.

Для измерения эффективности этапа Revenue можно использовать метрики, такие как средний чек, общий объем продаж, количество транзакций и другие.

Для измерения эффективности этапа Referral можно использовать метрики, такие как количество новых пользователей, привлеченных через реферральные программы, количество отправленных приглашений и другие.

Кроме того, воронка AAARRR может помочь компаниям определить, какие этапы требуют большего внимания и улучшения. Например, если компания обнаруживает, что у нее высокий уровень оттока пользователей, она может сосредоточить свои усилия на улучшении этапа Retention.

В целом, использование воронки AAARRR позволяет компаниям более точно измерять эффективность процесса продаж и удержания пользователей, что помогает им оптимизировать свой бизнес и повышать свою прибыльность.

Гайд по дорожной карте продукта и продуктовой стратегии: AARRR метрики, Юнит-экономика, Lean Canvas

Пирамида метрик / Иерархия метрик

Пирамида метрик, также известная как иерархия метрик, является важным инструментом для продуктовой аналитики. Она помогает определить, какие метрики являются наиболее важными для бизнеса, и какие метрики являются второстепенными.

Пирамида метрик в 4 словах

Пирамида метрик состоит из четырех уровней:

1. Уровень бизнес-целей
   На вершине пирамиды находятся бизнес-цели. Это высокоуровневые цели, которые определяются компанией. Например, увеличение прибыли, увеличение количества пользователей или улучшение пользовательского опыта.

2. Уровень ключевых показателей эффективности (KPI)
   На втором уровне находятся ключевые показатели эффективности (KPI), которые напрямую связаны с бизнес-целями. Каждая компания может иметь свой набор KPI, который лучше всего отражает ее цели. Например, для компании, которая хочет увеличить количество пользователей, KPI может включать количество новых пользователей, конверсию пользователей и среднее время жизни пользователя (LTV).

3. Уровень метрик продукта
   На третьем уровне находятся метрики продукта, которые помогают измерить производительность продукта в отношении KPI. Эти метрики напрямую связаны с функциональностью продукта и могут варьироваться в зависимости от конкретного продукта. Например, для мобильного приложения метрики продукта могут включать количество загрузок, время нахождения на сайте и количество сессий.

4. Уровень метрик пользовательского опыта
   На четвертом уровне находятся метрики пользовательского опыта, которые помогают измерить взаимодействие пользователя с продуктом. Эти метрики могут включать такие показатели, как время загрузки страницы, количество ошибок на странице и уровень удовлетворенности пользователей.

Пирамида метрик помогает компаниям определить, какие метрики являются наиболее важными для их бизнеса, и какие метрики необходимо улучшить для достижения бизнес-целей. Она также помогает компаниям принимать более обоснованные решения на основе данных, полученных из различных источников. Например, если метрики продукта не соответствуют установленным KPI, компания может использовать данные, полученные на уровне метрик пользовательского опыта, чтобы определить, где происходит отклонение и что необходимо улучшить для увеличения производительности продукта.

Кроме того, пирамида метрик помогает продуктовым аналитикам разбить анализ на более мелкие части и сосредоточиться на ключевых метриках, которые имеют наибольшее значение для бизнеса. Это позволяет продуктовым аналитикам быстрее и эффективнее выявлять проблемные зоны продукта и предлагать решения для улучшения его производительности.

В целом, пирамида метрик является важным инструментом для продуктовой аналитики, который позволяет компаниям оценить производительность продукта, сравнивать ее с бизнес-целями и принимать обоснованные решения на основе данных. Она также помогает продуктовым аналитикам определить, какие метрики следует измерять на каждом уровне пирамиды и какие данные необходимы для принятия правильных решений.

Иерархия метрик продукта

Иерархия метрик продукта представляет собой систему, в которой метрики продукта группируются по уровням, отражающим различные аспекты производительности продукта. Обычно иерархия метрик продукта представляется в виде пирамиды, где каждый уровень содержит метрики, которые являются более конкретными и детализированными, чем метрики на предыдущем уровне.

Иерархия метрик продукта состоит из нескольких уровней. На вершине пирамиды находятся высокоуровневые метрики, такие как общее количество пользователей или выручка продукта. На следующем уровне расположены метрики, относящиеся к поведению пользователей на сайте или в приложении, например, время, проведенное на сайте или количество просмотров страниц. На более низких уровнях иерархии метрик располагаются еще более конкретные метрики, относящиеся к конкретным функциям продукта или взаимодействию пользователя с продуктом.

Основная цель иерархии метрик продукта — разбить производительность продукта на более мелкие части и сосредоточиться на ключевых метриках, которые имеют наибольшее значение для бизнеса. Использование иерархии метрик продукта помогает продуктовым аналитикам выявлять проблемные зоны продукта и определять, какие метрики следует измерять на каждом уровне, чтобы принимать обоснованные решения на основе данных.

Иерархия метрик продукта также помогает компаниям управлять производительностью продукта и сравнивать ее с бизнес-целями. Она предоставляет продуктовым аналитикам целостную картину производительности продукта и позволяет им лучше понимать, как пользователи взаимодействуют с продуктом.

Видео подборка по иерархии метрик

Дерево метрик

Пирамида метрик: как построить и найти NSM вашего продукта

Пирамида показателей выручки

Пирамида показателей выручки — это структурированный подход к анализу и управлению финансовыми метриками, связанными с доходами компании. Она позволяет глубже понять, какие факторы влияют на выручку, начиная с наиболее общих и заканчивая более детализированными и конкретными метриками. Такая пирамида помогает выделить ключевые показатели, которые нужно отслеживать, чтобы улучшить финансовые результаты.

Уровни пирамиды показателей выручки:

Выручка (Revenue)

На вершине пирамиды находится самый общий и важный показатель — выручка. Это общая сумма денег, полученная компанией от продаж товаров или услуг за определенный период. Этот показатель позволяет оценить общий успех бизнеса, но он не раскрывает причины изменений.

Количество продаж (Sales Volume) и Средний чек (Average Check)

Следующий уровень разделяется на два ключевых показателя:
Количество продаж — число единиц товара или услуг, проданных за период.
Средний чек — средняя сумма, которую клиент тратит за одну покупку.

Эти два показателя в совокупности влияют на общую выручку: выручка = количество продаж × средний чек.

Конверсия (Conversion Rate) и Средняя цена продажи (Average Selling Price)

Конверсия — доля посетителей (онлайн или офлайн), которые совершают покупку. Это показатель эффективности работы с клиентами и маркетинговых усилий.
Средняя цена продажи — цена, по которой продукт или услуга были проданы в среднем, что может меняться в зависимости от ценовой политики, скидок и акций.

Эти показатели влияют на количество продаж и средний чек, а значит, и на выручку.

Воронка продаж (Sales Funnel) и Дополнительные продажи (Upsell/Cross-sell)

Воронка продаж — процесс, через который проходят потенциальные клиенты от первого контакта до покупки. Анализ на этом уровне помогает понять, где происходят потери клиентов и как их можно минимизировать.
Дополнительные продажи — увеличение выручки за счет предложения клиентам дополнительных товаров или услуг. Эти усилия могут значительно повысить средний чек и, соответственно, общую выручку.

Повторные продажи (Retention) и Лояльность клиентов (Customer Loyalty)

Повторные продажи — метрика, показывающая, сколько клиентов возвращается для повторных покупок. Увеличение этого показателя может значительно повлиять на долгосрочную выручку.
Лояльность клиентов — степень приверженности клиентов к бренду, что напрямую влияет на повторные продажи и рекомендации (реферальный маркетинг).

Пирамида помогает аналитикам и менеджерам определить наиболее значимые факторы для повышения выручки, а также позволяет проводить глубинный анализ на каждом уровне, чтобы выявить ключевые точки роста и улучшения. Это мощный инструмент для стратегического планирования, определения приоритетов в маркетинговых и операционных инициативах.

Заметки из телеги

Как продакту держать в голове кучу метрик и успевать следить за ними?

Исходный пост-источник

Можно собрать их все на одной дашборде, которая не влезет даже на 2 широкоформатных монитора и с умным видом смотреть в неё, когда приходит руководитель.

А можно категоризировать метрики по типу влияния на продукт и следить за теми, которые действительно сейчас важны.

Категории метрик продукта:

1. Метрики работоспособности.
2. Метрики использования.
3. Метрики принятия.
4. Метрики удовлетворенности.
5. Метрики экосистемы.
6. Метрики конечного результата.

1. Метрики работоспособности

Продукт работает? Он работает так, как ожидают пользователи и команда?
Метрики: задержка сервера, время загрузки страниц, down-time, глюки на сайте и т.п.

2. Метрики использования

Как пользователи используют продукт?
Метрики: основные действия, показатели воронок по каждому действию, использование Y в течение X дней, чтение хелп-гайдов, удержание и т. д.

3. Метрики принятия

Используется ли продукт так часто, как нам хотелось бы?
Метрики: активные пользователи, dau/mau, переходы с бесплатного тарифа на платный (и обратно), время до конверсии и т.п.

4. Метрики удовлетворенности

Каково общее отношение наших клиентов к продукту и функциям?
Метрики: CSAT, CSAT для новых функций, CSAT для саппорта/аккаунтов, NPS, LiveNPS и т.п.

5. Метрики экосистемы

Каково состояние продукта на рынке, на котором он работает?
Метрики: процент от рынка, доли в целевых сегментах/аудитория, отраслевые рейтинги и т.п.

6. Метрики конечного результата

Какие общие результаты мы получаем от нашего продукта?
Метрики: выручка, доход на пользователя, активные пользователи, захваченная доля рынка, транзакции, % охвата и т.д.

Существует два подхода к работе с метриками в продукте:

• Data Driven, когда критерием для принятия решений в продукте на первое место выходят метрики и данные.
• Data Informed, когда метрики и числа используются как один из многих факторов при принятии продуктовых решений.

Сломано много копий о том, какой подход и на какой стадии продукта работает лучше.

Мой совет – используйте тот, который более всего подходит в зависимости от конечной задачи отслеживания метрики.

Верх мастерства – комбинировать оба подход в зависимости от выбранной категории метрик.

Как понять, что метрика полезна и подходит для отслеживания?

• является показателем ценности продукта для его пользователей;
• она реагирует на изменения в продукте;
• привязывается к ценности для бизнеса (деньги);
• ожидается, что она долгосрочна (минимум 2-3 года).

Эти категории охватывают множество моментов развития продукта и дают отличное представление о том, в каком состоянии и как он работает.

Другие ссылки по теме:

• Строим “Звезду Смерти” продуктовой аналитики
• ​Метрики маркетплейсов на примере Kaspi
• Метрики, по которым можно выявить выгорание компании
• CSAT, CES, NPS: метрики для оценки работы сапорта
• Есть ли метрики после редизайна?
• Обратная сторона всех метрик
• Метрики эффективности продукта в период кризиса

Метрики принятия продукта: 5 типов и 7 примеров

Исходный пост-источник

Существует множество продуктовых метрик, которые могут дать продакт-менеджеру более ясное представление об уровне принятия его продукта, из которых выделяется 5 базовых типов:

1. Следящие метрики (Tracking Metrics)

Эти метрики могут включать в себя количество регнутых/активных пользователей, установок приложения, оплат, DAU/WAU/MAU или количество активных пользователей в разрезе фич/механик.

2. Конверсионные метрики (Conversion Funnels)

Метрики, которые позволяют отслеживать, сколько пользователей переходит через различные этапы взаимодействия с продуктом.

3. Метрики вовлечённости (Engagement Metrics)

Метрики, связанные с использованием ключевых функций продукта. На примере социальных сетей это публикации, комментарии, лайки и иные активности.

4. Метрики Времени (Time-Based Metrics)

Метрики, которые считают сколько времени пользователи проводят в продукте: время до активации, среднее время в продукте, частота использования и т.д.

5. Метрики отказов (Churn)

Низкий уровень отказов в продукте/фичи на каком-либо из этапов CJM может свидетельствовать о высоком уровне принятия продукта, высокий уровень отказов о… в общем, понятно.

МЕТРИКИ ПРИНЯТИЯ

❯ Уровень принятия продукта (Product Adoption Rate)

= (Количество новых активных пользователей продукта / Общее количество регистраций) * 100

Простейшая метрика, благодаря которой можно увидеть % пользователей которые проявили интерес и далее активировались в продукте через выполнение ключевое действия (создание сущности в продукте, покупка, лид и т.п.).

❯ Уровень принятия фичи (Feature Adoption Rate)

Позволяет увидеть % активных пользователей продукта, которые начали использовать ту или иную фичу в продукте, выполняя её ключевое действие

= (Количество активных пользователей фичи / Общее количество активных юзеров или сегмент) * 100

❯ Время до первого ключевого действия (Time-to-First Key Action)

Метрика определяет насколько быстро пользователи принимают ваш продукт/фичу ИЛИ, если смотреть с обратной стороны, сколько времени они тратят НЕ принимая ваш продукт.

❯ Количество ежедневных/ежемесячных активных пользователей (DAU/MAU)

Большинство продуктов используют DAU/WAU/MAU, чтобы отслеживать «стабильность принятия продукта», но и эти метрики можно улучшить.

❯ Процент ежедневных/ежемесячных активных пользователей

= (Ежедневные/Ежемесячные активные пользователи / Общее количество пользователей) * 100

Это более эффективное использование DAU/MAU, поскольку оно сообщает вам, какой процент ваших существующих пользователей фактически принял ваш продукт и взаимодействует с ним в течение определенного времени.

❯ Средняя частота использования

Вы также можете-должны рассчитывать насколько часто средний пользователь использует ваш продукт и(или) функцию (количеству сессий).

❯ Среднее время использования продукта/функции

Другая метрика, сосредоточенная на использовании – среднее длительность времени, которое пользователь проводит взаимодействуя с вашим продуктом или функцией (время сессии).

Также называемое глубиной использования, эта метрика помогает понять, на каких именно областях, этапах и функциях продукта сосредотачиваются основные усилия пользователей.