32 эксперимента по увеличению выручки за 10 дней (49 День)

Сегодня поговорим про быстрое тестирование новых гипоз и зачем это собственно нужно. Посмотрел доклад Михаила Трутнева исполнительного директора компании Ultimate Guitar «32 эксперимента по увеличению выручки за 10 дней» с #productcamp, их приложение находится в топе своей категории.

Опыт высокоскоростного тестирования гипотез.

Зачем компании понадобилась высокая скорость тестирования гипотез?

Во-первых, чтобы ценные идеи руководства не прокисали, во-вторых, чтобы ценные идеи сотрудников не прокисали.

Кто тестирует — тот трус.

 

«Мы движемся очень быстро и иногда что-то ломаем. При этом не тратим время на классическую деятельность, как тестирование и строгий релиз-менеджмент.»

Booking.com
 

В Booking.com web-разработчики сами принимают решение деплоить или нет, но в мобильном приложении чуть более строго, там есть отдел QA.

В Ultimate Guitar пошли дальше и вообще убрали отдел тестирования, вся ответственность ложится на разработчиках.

«В бой идут одни старики?»

Каких людей брать в команду высокоскоростного тестирования гипотез?

Если брать проверенных людей, которые тестируют 1 идею в неделю, они так и будут тестировать 1 идею в неделю, тогда кого брать в команду?

Команда должна быть маленькой: дизайнер и разработчик.

С какими скилами будем брать в команду:

  • Отчаяных;
  • Самостоятельных;
  • Энергичных;
  • Инициативных;
  • Быстрых;
  • Продуктивных;
  • Компетентных;
  • Опыт не важно;
  • Молодых, которым есть что доказывать.

Выводы:

Компетентность не значит продуктивность.

Отсутствие компетентности сейчас не значит, что человек не может быть продуктивным очень скоро.

Если раньше человек не демонстрировал высоких результатов, не значит то, что он не демонстрировать их с Вами.

Люди почти не меняются.

Не теряйте времени, пытаясь вложить в них то, что им не дано от природы. Всё это достаточно трудно.

 

«Сначала нарушьте все правила»

Маркус Бакингем, Курт Коффман
 

Поправка, они набирал людей в команду монетизации, и кого брать?

Первый показатель, сотрудник должен любить соревноваться, спросите участвовал он в олимпиадах или в соревнованиях раньше.

Второй показатель, сотрудника должны мотивировать деньги, которые зарабатывают компания, и вклад который вносит он.

На три буквы (KPI):

В команде высокоскоросотной проверки гипотез нет никакой связи между заработной платой и результатами труда, чтобы команда не подстраивалась KPI и не боялась эксперементировать.

«Утром деньги — вечером стулья»

Ограничение времени работы над экспериментом: 1 сутки.

Пара практических деталей:

Единая форма записи гипотезы во всей компании.

Отбор идей для экспериментов

NICE

I — Impact on revenue (влияние на выручку от 1 до 10)
Разовый эффект $2 000 = 1 балл
Системный (ежемесячный) эффект $1 000 — 1 балл
C — Confidence it will be successful (уверенность в успехе)
E — easy to imlement (простота внедрения)
N — приоритезация идеи founder Евгением Найденовым

Пример NICE:
Ultimate Guitar

Важные моменты:

1) A/B и аналитика в которую Вы верите, то есть A/B тестирование классная тема, но она должна показывать настоящие результаты.
2) Возможность менять продажные слои без релизов, то есть менять элементы связанные с покупками внутри приложения без релизов.
3) Записывать выводы по каждому эксперименту, так как наша память склона забывать.
4) Все макеты делаются от руки, так как если это полноценный макет, например, директору трудно вносить коррективы, ведь этот парень старался делая макет.

Одна из идей по получению отзывов от пользователей:
Ultimate Guitar 2

Почему у них получилось кратно увеличить скорость проверки гипотез:

1) Они были свободны от обязательного условия заработать денег. Мы хотели, чтобы меньше идей прокисало.
2) Самое важное: они рискнули и поставили «новые лица».
3) Ограниченность во времени мобилизует.
4) Инфраструктура: A/B, аналитика, возможность изменений без релиза, понятный отбор экспериментов.

Если хотите подробнее ознакомиться с материалом посмотрите доклад «32 эксперимента по увеличению выручки за 10 дней» — vimeo.com

Тестовое приняли, завтра собеседование, чему я очень рад!