EDUCATION CENTER
Other products
Get to know devtodev`s other products: an analytics platform for game developers, an analytics consulting, and outsourced customer support in games.
Why Game Designers Need Analytics
RU
Check out the next article in the series, where game designers talk about game analytics and their interactions with analysts.
Published
18.07.2018
|
devtodev

Образовательный центр devtodev продолжает публикацию статей об игровой аналитике, которые помогут новичкам в игровой индустрии стать настоящими профессионалами. В предыдущих статьях цикла мы узнали об игровой аналитике с точки зрения непосредственно игровых аналитиков  читайте часть 1 и часть 2 общения со специалистами индустрии и главами аналитических компаний. 

В этот раз аналитик devtodev Катя Нагорная опросила ближайших коллег игровых аналитиков — геймдизайнеров — которые поговорили о том, нужна ли геймдизайнерам аналитика, нужны ли аналитики геймдизайнерам и проектам, а также какие у них могут быть вопросы друг к другу.

Вот они, почётные геймдизайнеры индустрии:

РАССКАЖИТЕ, ПОЖАЛУЙСТА, ЧЕМ ВЫ СЕЙЧАС ЗАНИМАЕТЕСЬ. КАКИЕ ЗАДАЧИ ВЫПОЛНЯЕТЕ В КАЧЕСТВЕ ГЕЙМДИЗАЙНЕРОВ?

Какие задачи выполняете в качестве геймдизайнеров?

Тимофей: В основном занимаюсь двумя типами задач: первый — «общий» геймдизайн (концепты, документы, механики, мокапы интерфейсов и так далее), и второй — матмодели: просчет механик и их взаимодействия с точки зрения математического моделирования, игровая экономика и подобное. Можно с натяжкой обобщить второе как «игровой баланс».

Сергей: На данный момент я — независимый эксперт по геймдизайну, инди-разработчик. Сейчас консультирую два проекта по геймдизайну. В основном это подготовка документации, level design, также активно тестирую игры. В данный момент занимаюсь балансировкой физики управления и боевых навыков в экшн-платформере.

Артем: На мне сейчас «общий» геймдизайн (как у Тимофея), плюс управление командой геймдизайнеров.

А КАКИЕ ЗАДАЧИ ПО АНАЛИТИКЕ ДОВОДИЛОСЬ (В СЛУЧАЕ, ЕСЛИ ДОВОДИЛОСЬ) ВЫПОЛНЯТЬ САМОМУ?

Тимофей: Мой список задач весьма разнообразен. Проведение тестов: А/B-тестирование, эффективность фичей, например. Работал со стандартными показателями вида DAU/MAUARPU и прочим. Также воронки, конверсии, отток игроков и сопоставление с геймплеем. Были попытки классификации игроков по поведению, офферы, в т.ч. персональные, и их настройка. Из интересного — задача, связанная как с экономикой, так и аналитикой/ГД. В общих словах: решение задачи инфляции в экономике через геймплей и новые фичи.

Сергей: Мне доводилось проводить анализ первого входа, FTUE (first-time user experience), конверсию в покупки, точки монетизации, анализ экономики, анализ удержания 7, 14, 30 дней. Большую часть времени занимался анализом поведения пользователей в игре, искал, на основе статистики, способы улучшения конверсий в воронках, гладкости кривой сложности и т.п.

Артем: Проект, над которым я работаю, еще не выпущен, так что аналитики на живой массе игроков у нас пока нет. Буду делиться тем, что почерпнул из работы над выпущенными продуктами. Работал как над основными известными KPI, так и над более узкоспециализированными вещами: изучение и выявление проблем в геймплее и балансе, поиск удачных геймдизайнерских решений, изучение level design и т.п.

C КАКИМИ СИСТЕМАМИ АНАЛИТИКИ РАБОТАЕТЕ СЕЙЧАС И РАБОТАЛИ РАНЬШЕ?

Тимофей: SQL нескольких видов, а также 3 самописных (внутренних) фреймворка для выгрузки статистики. Для анализа — самописные опять же фреймворки, Excel, Python. Также использую Python для обработки. В последнее время иногда получается всякие несложные задачки автоматизировать на нем. Пытаюсь внедрять Machine Learning, пока реальный результат только в одной задаче с его помощью. Ну и я ушел с головой в математику, уже года два не работаю в качестве Lead Designer’a, только Senior на конкретные задачи.

Артем: В данный момент у нас используется Tableau+Vertica, из предыдущего опыта — работал с Swrve, Infinario, самописными решениями и немного Google Analytics.

Сергей: Знаком с Amplitude, Facebook Analytics, devtodev. Использовал также Firebase и Splunk.

А С ЖИВЫМИ АНАЛИТИКАМИ ПРИХОДИЛОСЬ РАБОТАТЬ?

C какими системами аналитики работаете сейчас и работали раньше?

Тимофей: Да. Особо хорошие аналитики мне попались в Crazy Panda и  Rocket Jump. Простые вещи сам решаю, за сложным или советом — к аналитикам. Если p-value или размер групп для тестов можно посчитать самому, то в очень шумных данных разбираться — ходил к аналитикам.

Артем: Постоянно! Запросы сырых данных, консультации, постановка задач на исследования и т.п. Что-то можно и самому проанализировать, на что-то лучше подключать уже непосредственно аналитика с более системным мышлением и серьезным математическим базисом. Бывают задачи, в которых аналитики дадут ответы на вопросы хуже геймдизайнеров. Например, если это касается тонкой балансировки геймплея или level design. Это лучше отдавать на откуп ГД или ЛД соответственно, а лучше работать им с аналитиком в связке. Почему? Из-за специфических знаний в области ГД/ЛД. Например, почему этот ящик на уровне — плохое решение. Это к вопросу той аналитики, которая решается анализом в отделе ГД.

Сергей: Да, в Нивале, например. Аналитики вообще полезные люди, но есть проблема в коммуникации с геймдизайнерами. Аналитик часто выполняет задачи независимо от ГД, не понимая сути геймдизайнерских задач во время оперирования продуктом. В итоге приходилось подчас делать повторный анализ статистики непосредственно самим геймдизайнерам, чтобы получить ответы на интересующие вопросы в плане поведения игроков.

Артем: Согласен, такое есть. Поэтому, хорошо работает именно связка геймдизайнер плюс аналитик, особенно если эта пара спецов сработалась и отлично понимают друг друга. В моей практике такое комбо давало хороший результат.

Тимофей: Да, тоже такое было. Когда хороший контакт получается — результат синергичен.

НАЗОВИТЕ  ТОП ВОПРОСОВ, С КОТОРЫМИ ЧАЩЕ ВСЕГО ХОДИЛИ К АНАЛИТИКУ?

Назовите  топ вопросов, с которыми чаще всего ходили к аналитику?

Тимофей: Помощь в интерпретации результатов с расчетом тонких моментов для тестов или сравнения. В последнем помогало, что аналитик все время в этих данных по уши и обычно знает много мелочей, в которые геймдизайнер не влезает в силу задач или знаний.

Артем: Наиболее частые — это уточняющие вопросы по методике расчетов каких-то метрик или сбора данных. При необходимости сбора новых данных обсуждаем, как оптимально внедрить нужные ивенты и визуализировать данные (больше технический момент). Ну и да, часто обращались за расчетами требуемого размера выборки для проведения А/В и бета-тестов. В остальном — слишком разноплановые вопросы, чтобы включать их в топ.

Сергей: Меня интересуют чаще всего следующие вопросы:

  • анализ воронки по уровням, места отвалов и их объяснение;
  • анализ поведения игрока перед уходом;
  • регулярные  сводки продаж внутриигровых товаров и анализ распродаж;
  • анализ прошедшего ивента в плане активности игроков и монетизации и др.

ПОСЛЕ ВЫШЕСКАЗАННОГО И ОПИСАННОГО, ДАЙТЕ ОПРЕДЕЛЕНИЕ ИГРОВОМУ АНАЛИТИКУ

Тимофей: Игровой аналитик — аналитик, владеющий классическим математическим аппаратом и понимающий специфику игр и работы с ними.

Артем: Соглашусь, пожалуй, добавить нечего. Что ему нужно, кроме математического аппарата, это уже другой вопрос.

Сергей: Игровой аналитик — это специалист, способный не только грамотно «экстрактировать» нужные данные, но и правильно интерпретировать и визуализировать их в контексте требуемых задач.

ИЗ ОПИСАННЫХ ВАМИ ЗАДАЧ, КОТОРЫЕ КАСАЛИСЬ АНАЛИТИКИ, СЛЕДУЕТ ВОПРОС: А НУЖЕН ЛИ ВООБЩЕ АНАЛИТИК ДЛЯ ПРОЕКТА?

Из описанных вами задач, которые касались аналитики, следует вопрос: а нужен ли вообще аналитик для проекта?

Артем: Вообще, да. Математический базис, понимание специфики игр и игрового рынка, очень важно обладание логикой и здравым смыслом. Но это, я думаю, распространяется не только на аналитиков. У аналитиков умение системно работать с большим объемом данных выше, чем у геймдизайнеров. Далеко не все геймдизайнеры знают, как грамотно и быстро решить некоторые задачи . Научиться можно всегда, но не всегда это дешевле и правильнее, чем иметь привязанного к проекту аналитика. Ну и есть еще технический момент. Настроить, оптимизировать сбор данных, выстроить систему аналитики так, чтобы с ней удобно было работать, в конце концов — работать с сырыми данными и аналитическими инструментами — это ряд навыков, который для классических геймдизайнеров обычно закрыт.

Сергей: Чаще всего нет, но если проект крупный или в компании оперируют сразу несколькими проектами — да. Компетенций продюсера и геймдизайнера в основном достаточно. Аналитик нужен там, где проект действительно большой и приходится обрабатывать много данных, но, в конечном итоге, он всё равно приносит обработанные данные продюсеру и/или ГД, а те уже принимают решения на основе полученных данных.

Тимофей: Не всегда нужен выделенный аналитик для проекта. Я бы сказал, что любому проекту, нацеленному на результат, нужна аналитика. Кто ее делает — вопрос десятый, но чаще всего самое адекватное решение — отдел аналитики, если в компании больше двух проектов, или выделенный аналитик, если это компания с 1-2 проектами.

С ТРУДОМ СЕБЕ ПРЕДСТАВЛЯЮ МОБИЛЬНУЮ ИГРУ, СДЕЛАННУЮ БЕЗ АНАЛИТИКИ. ЕСЛИ ГОВОРИТЬ ПРО ОДНОПОЛЬЗОВАТЕЛЬСКИЕ ИГРЫ, И В ЦЕЛОМ РЫНОК ПК — НАВЕРНОЕ СОГЛАШУСЬ, ЧТО ВЫДЕЛЕННЫЙ АНАЛИТИК НЕ НУЖЕН.

Артем: Не только мобилку, а f2p-проект, я думаю. В сингл я бы на самом деле тоже прикручивал кое-какие данные. Как минимум, это в результате дает мне понимание, какие геймдизайнерские решения я применил хорошо, а какие — не очень. В итоге правильнее будет сказать, что аналитика в онлайн-проекте должна быть в 98% случаях, а вот аналитик — уже по необходимости и объему задач.

БЫЛ ЛИ В ВАШЕЙ ПРАКТИКЕ КЕЙС, КОГДА СОВМЕСТНО С АНАЛИТИКОМ ВЫ НАХОДИЛИ ПРОБЛЕМУ И РЕШАЛИ ЕЕ?

Был ли в вашей практике кейс, когда совместно с аналитиком вы находили проблему и решали ее?

Тимофей: Да. Было более одного раза. И это один из наиболее позитивных опытов — про решение сложной задачи совместно с аналитиком. Другой вопрос — я уже больше трех лет занимаюсь этой темой и эти задачи меня интересуют в первую очередь. Большинству геймдизайнеров, думаю, такое будет скучно. Если в общих чертах — решал задачи с игровой экономикой, связанные с ГД и проблемами проектов старше года. То, что получилось решить, делалось в плотном сотрудничестве с аналитиком.

Можно сказать, что ко мне уже много раз обращались с проблемами игр, которые были успешно запущены, но из-за небольших ошибок в геймдизайне, при изменении ситуации и обновлении  игры в них появлялись дыры в экономике и, как следствие, в монетизации. Это уже такой широко распространенный кейс.

ТО ЕСТЬ, ТЕБЕ СЕЙЧАС ИНТЕРЕСНА АНАЛИТИКА И ЕСТЬ ШАНС, ЧТО ТЫ ПЕРЕЙДЕШЬ НА ТЕМНУЮ СТОРОНУ?

Тимофей: Нет, не совсем. Я дописываю диплом, и скорее всего еду делать PhD по AI.

Сергей: Да, были. Самый интересный кейс — поиск проблемы в туториале, из-за которой отваливалось много игроков на старте. Это был сложный, трудно уловимый технический баг, который приводил к блокировке действий игрока в туториале. Именно совместные обсуждения проблемы, всестороннее тестирование и детальный анализ шагов в конкретном месте позволили нам разобраться в проблеме.

Артем: У меня тоже такие случаи бывали, но я скорее всего уже их не вспомню. Вообще, мне кажется, работа с аналитикой — это самый интересный опыт, особенно если проблему обнаружили и/или решили совершенно случайно. Это как открыть новые земли в неисследованном океане, чувствуешь себя немного Колумбом что ли. На прошлом месте работы у меня был даже геймдизайнер-единомышленник (, привет ему в Новосибирск), с которым мы по вечерам в офисе могли на пару часов закопаться в аналитику в поисках аномалий. И зачастую из этого рождались очень интересные вопросы, теории и даже конкретные кейсы, которые в конечном итоге превращались в ценный опыт.

Сергей: Несколько лет назад я бы с удовольствием поработал аналитиком, это интересная работа, сродни детективным расследованиям, особенно в проектах с масштабными объемами данных и многомерными измерениями. Сейчас, конечно, у меня другие приоритеты и задачи, но к аналитике по-прежнему отношусь серьёзно и с уважением.

ВО ЧТО ВЫ ИГРАЕТЕ?

Во что играют геймдизайнеры

Тимофей: Kerbal Space Program, League of Legends, Civilization 5-6, Stellaris, реже — World of Warcraft, Overwatch.

Сергей: Трудный вопрос. Я не успеваю толком играть из-за большого количества работы. Последнее время «поигрываю» в Fortnite, Witcher 3 и проекты, так или иначе связанные с теми, которые я разрабатываю (например, разнообразные современные платформеры). Тёплыми уютными вечерами играю в любимый Stellaris.

Артем: Стараюсь играть во все мало-мальски интересное, до чего дотянутся мои ручонки, и на всех платформах. Но если из того, к чему я возвращаюсь — Dota 2, Civilization 6, Europa Universalis IV и, в меньшей степени, все другие стратегии Paradox. Очень люблю сюжетные и атмосферные игры вроде Kingdom Come, Hellblade или Zelda.

На мобилках — фермы или ситибилдеры, люблю невоенное развитие.

НО ВСЕ ЖЕ ПЛАТИТЕ В ИГРАХ, ПРАВДА?

Тимофей: Не пирачу ничего по этическим соображениям. Сингл на мобилках и ПК покупаю, но в f2p на мобильном не трачу. Не цепляют они.

Артем: Аналогично. Если про f2p, то у меня в этом плане философия простая — мне не жалко денег, если я получу от этого удовольствие, даже если эту игру я заброшу через неделю-две.

Сергей: Плачу, конечно. Особенно если игра заслуживает этого, могу в том числе выкупить все DLC для неё, чтобы поддержать разработчика. Сингловые игры в основном покупаю в Steam. В f2p-играх часто плачу за стартеры, чтобы ускорить прогресс.

И все-таки, геймдизайнерам тоже интересна аналитика

И все-таки, геймдизайнерам тоже интересна аналитика, хоть они часто делают вид, что прекрасно и без нее прожить можно, хотя это не так.

Спасибо коллегам за беседу. Продолжение следует.

Read more