EDUCATION CENTER
Other products
Get to know devtodev`s other products: an analytics platform for game developers, an analytics consulting, and outsourced customer support in games.
How Can You Become a Game Analyst. Part 1
RU
Ever wondered which skills you need to become a game analyst? Heads of analytics will answer all of your questions in this article.
Published
03.04.2018
|
devtodev

Образовательный центр devtodev начинает публикацию статей, которые помогут новичкам в игровой индустрии стать настоящими профессионалами.

Первая статья серии посвящена нашей любимой теме - игровой аналитике с точки зрения игровых аналитиков. Аналитик devtodev Катя Нагорная пообщалась с тремя специалистами из геймдева, которые знакомы с темой не понаслышке и, более того, имеют за плечами годы опыта в игровой аналитике.

В первом диалоге участвовали руководители аналитических отделов, которые вполне готовы ответить за ARPU и померяться LTV:

  • Василий Сабиров, далее в тексте именуется Васей, Lead Analyst в компании devtodev
  • Георгий Стешенко, далее - Гоша, глава аналитики в компании Zimad
  • Василий Синюрин, остался Василием, Chief Analytics Officer в компании Kefir.

В ходе беседы мы обсудили, кто такие игровые аналитики, какие у них задачи и какими инструментами они пользуются. Мы также выяснили, какое образование необходимо аналитикам, какие минимальные требования к ним при приеме на работу и что же делать аналитику с игрой.

ДАВАЙТЕ НАЧНЕМ С ПРОСТОГО: КТО ТАКОЙ ИГРОВОЙ АНАЛИТИК? 

Вася: Мне нравится такое определение современного художника: «современный художник — это тот, кого называют современным художником». В каком-то смысле игровой аналитик — в ту же степь. Игровой аналитик — это человек, который выполняет роль аналитика в игровом проекте.

Гоша: В узком смысле — это человек, который помогает владельцам игрового проекта принимать решения о развитии с использованием аналитической информации, помогает понять, где они находятся сейчас и правильно ли они движутся.

Василий: Если мне не изменяет память, то мой тезка (то есть Василий Сабиров) как-то проводил аналогию между игровым аналитиком и диагностом в медицине. На мой взгляд, это очень хорошее сравнение. Человек, который должен определить, что происходит и куда идти.

Кто такой игровой аналитик

Гоша: Мне не очень нравится сравнение с диагностом.

ПОЧЕМУ?

Гоша: Потому что, исходя из моей практики, аналитика вряд ли вытянет «умирающий проект»; эффективнее всего аналитик сработает тогда, когда нужно сделать из хорошего проекта отличный. Я бы тогда уж сказал «тренер».

Василий: Смотря что значит «вытянет»: в моей практике есть случай, когда удалось вытянуть на стабильные рельсы продукт, у которого трафик не отбивался из-за не сведенной экономики игры. Так что тут весьма по-разному все может происходить. Опять же, это не означает, что проект стал хитом. Но он стал жить в стабильном плюсе. Аналитик должен работать в тесном зацепе с геймдизайнерами (привет вам) и продюсером проекта, тогда это вполне по силам.

Вася: Согласен с тем, что одной лишь аналитикой умирающий проект не вытянуть. Зато можно улучшить хороший проект, с этим я тоже согласен.  Диагност, вероятно, не лучший врач здесь: к нему ходят, когда плохо. В данном случае — такой семейный доктор, который всегда знает о вашем здоровье.

ДАВАЙТЕ НЕМНОГО ПРОЙДЕМСЯ ПО ЗАДАЧАМ, КОТОРЫЕ ВЫПОЛНЯЕТ ЭТОТ САМЫЙ ДИАГНОСТ (НУ ИЛИ СЕМЕЙНЫЙ ДОКТОР).

Вася: Аналитик, на мой взгляд, должен находить 1) узкие места проекта, и 2) точки его роста. В обоих пунктах подразумевается, что для этого должна быть сделана [опять она] диагностика, то есть аналитик должен в деталях понимать текущее состояние проекта во множестве разрезов.

А ЕСЛИ ПОПРОБОВАТЬ РАЗОБЩИТЬ ЭТИ ДВА ПУНКТА, УЙТИ В ДЕТАЛИ? АНАЛИТИКА ВНУТРИИГРОВАЯ, АНАЛИТИКА РЫНКА, АНАЛИТИКА КАНАЛОВ ТРАФИКА — ЭТО ВСЕ ДАННЫЕ, И КОНКРЕТИЗИРОВАТЬ ЗАДАЧИ ДЛЯ КАЖДОЙ ИЗ ВЕТВЕЙ.

Василий: Аналитика каналов трафика — это все-таки маркетинговая аналитика и она у нас живет в отделе маркетинга, и там все придумали еще до игр.

Вася: Это в Kefir, вы относительно большие. В маленьких компаниях эти функции часто склеены.

Гоша: Для меня внутриигровая аналитика, аналитика каналов трафика и биздев (аналитика) имеют слишком другие фреймворки. Их нужно понимать игровому аналитику, но работать чисто с игрой, иначе фокус сбивается. В Zimad задачи тоже расклеены, но на нас постоянно все равно падает  задача раскладывать KPI по каналам.

Игровому аналитику необходимо раскладывать KPI по каналам

ВОТ, ЗДЕСЬ МЫ УЗНАЛИ, ЧТО ГОША СЧИТАЕТ, ЧТО НУЖНО РАБОТАТЬ ТОЛЬКО С ВНУТРИИГРОВЫМИ ПОКАЗАТЕЛЯМИ, В KEFIR ЕСТЬ МАРКЕТИНГОВЫЙ ОТДЕЛ, ГДЕ ВАСИЛИЮ ПРОАНАЛИЗИРУЮТ ТРАФИК, А ВАСЯ, СКОРЕЕ ВСЕГО, СОГЛАСИТСЯ, ЧТО АНАЛИТИК В МАЛЕНЬКОМ ПРОЕКТЕ БУДЕТ АНАЛИЗИРОВАТЬ ВСЕ, ЧТО ПОХОЖЕ НА ДАННЫЕ, ЕЩЕ И ТЕСТИРОВАТЬ ЗАОДНО.

Гоша: Тестировать — это вообще 80% времени аналитика, вы что!!! Я вообще хочу переименоваться в «Глава отдела послерелизного тестирования и внедрения SDK», потому что ничего никогда не работает как надо. А главное — это доверять данным. Я стараюсь двумя-тремя различными способами получить цифры, если исследование очень важное. Не говорю, что это правильно или хорошо (про тестирование). Наоборот.

Василий: В Kefir в этом плане скорее маркетологи должны понимать в продукте и консультироваться с нами (аналитиками) по мере необходимости. Понимать про каналы и трафик надо, но все расчеты эффективности и прочее — это маркетинговый отдел.

ДАВАЙТЕ ПОПРОБУЕМ НЕМНОГО ИНАЧЕ. ВЫ СОСТАВЛЯЕТЕ РЕЗЮМЕ И ОПИСЫВАЕТЕ В НЕМ ЗАДАЧИ, КОТОРЫЕ ВЫПОЛНЯЕТЕ В КАЧЕСТВЕ АНАЛИТИКА. РАССКАЖИТЕ О  НИХ.

Вася: Задачи аналитика в devtodev (и не только):

  • мониторинг и расчёт метрик проекта (в широком смысле слова «метрики»);
  • формирование гипотез по улучшению проекта;
  • планирование экспериментов, их организация, подсчёт и трактовка результатов;
  • и вообще, что-то типа формирования data driven культуры в компании.

Василий: Они разные (задачи).

Аналитик игровых обновлений/Геймдизайнер:

  • безостановочный процесс анализа игры;
  • поиск возможных проблем;
  • наблюдение за воздействием обновлений на ключевые метрики игры и баланс;
  • создание отчетов о результатах обновлений по имеющимся данным;
  • предложение изменений на основе своих же отчетов.

Аналитик рынка игровых приложений:

  • наблюдение за обновлениями крупных проектов через форумы, позиции в топах и т.д.;
  • составление отчетов о результатах обновлений крупных студий на основе данных от App Annie и т.д.;
  • поиск новых каналов информации о других проектах;
  • аналитика игрового рынка.

Аналитик игровых обновлений/Геймдизайнер — это все-таки стык двух профессий, его основная задача — постоянный анализ проекта, нахождение мелких и средних проблемных мест и, вместо выдвижение гипотез о их улучшении, разработка дизайн-документа или хотя бы скетча обновления для последующей работы ГД.

Аналитик рынка игровых приложений — это постоянное зарывание в данные, которые предоставляет платный доступ в App Annie, нахождение интересных проектов/обновлений/фичеров, влияние событий из других индустрий (День «Звездных Войн») на проекты; поиск реакций во всевозможных reddit-сообществах на обновления интересных продуктов и т.п..

Еще есть просто позиция аналитика, куда набираются те, кто по каким-то причинам не прошел в описанные выше.

Гоша: Я вот из реальной вакансии задачи возьму:

  • внедрять средства аналитики в игровые проекты;
  • отслеживать ключевые метрики проектов;
  • подтверждать или опровергать гипотезы команды поддержки проекта данными;
  • проводить аналитические исследования, направленные на выявление слабых мест проекта, а также находить возможности для улучшения показателей;
  • проводить A/B–тестирования;
  • превращать данные о действиях игроков в конкретные рекомендации.

Какие требования к аналитику в компании

РАССКАЖИТЕ, ГДЕ ВЫ УЧИЛИСЬ И ЧТО ИЗ ПРОЙДЕННОГО ПОМОГЛО ВАМ СТАТЬ ИГРОВЫМИ АНАЛИТИКАМИ? И ГДЕ СЕЙЧАС УЧАТ ЮНЫЕ ДАРОВАНИЯ?

Гоша: Мне повезло учиться у уже знающих людей — я был в градуатской программе Innova.

А В УНИВЕРСИТЕТЫ НЕ ХОДИЛ?

Гоша: Не хотел хвастаться просто: учился на физика-экспериментатора в МФТИ. Работа в лаборатории в течении нескольких лет, конечно же, дает нужные навыки обработки и использования данных.

Вася: Я учился на Мехмате (магистратура), в Высшей Школе Экономики, ещё заканчивал переводчика (технический русский-английский). В какой-то мере всё это помогло (Мехмат, конечно, больше всего), но всё равно решает практика, а не образование. Мне повезло: на переходе из просто аналитика (банки — государственные учреждения) в игрового, я оказался в Xsolla. С одной стороны, это финансовая организация, сервис, с другой — одной ногой уже стоит в поле игровой индустрии, поэтому переход для меня прошел достаточно органично.

Для юных дарований: курс devtodev, Innova, да и часто аналитиком в компании становятся после маркетолога или геймдизайнера в той же компании.

Гоша: У Вышки наверняка есть хорошие магистратуры, если посмотреть. В Innova люди из Вышки вполне успешно применяли знания, полученные во время учебы, так что, я думаю, там все довольно актуально.

Василий: Сейчас мне будет слегка неловко, но учился я на технолога-машиностроителя в ВолгГТУ и устраивался в Kefir серверным программистом, и им работал около 2-х лет. Всегда увлекался игровой аналитикой и ее интеграцией в проект. В какой-то момент меня поставили главным по аналитике, и практика въехала в меня на полном ходу. Все теоретические знания пришлось тянуть по пути. Порой часто грущу без нормального математического образования.

Курсы devtodev и правда хороши, и я готов звать людей сразу на собеседование, ибо тестовое задание им уже ни к чему. При условии, что они прошли курс, конечно.

Какие минимальные требования для позиции Junior Analyst

ТЕПЕРЬ БУДЕТ СЛОЖНЫЙ ВОПРОС, ИБО В ЧАТЕ ОН ВЫЗЫВАЕТ КУЧУ СПОРОВ: КАКИЕ МИНИМАЛЬНЫЕ ЗНАНИЯ ДОЛЖНЫ БЫТЬ У ЧЕЛОВЕКА (ПОКА ОН ЧЕЛОВЕК), ЧТОБЫ ПРЕТЕНДОВАТЬ НА ПОЗИЦИЮ JUNIOR ANALYST?

Гоша: Excel + логика, остальному научится.

Вася: Кстати, да, хорошая формула. Логика здесь (в моём понимании) — это не булевская, а именно простая человеческая логика, здравый смысл.

Василий: В последнее время у меня три критерия:

  • курс devtodev (если не проходил, я даю вопросы и задачи примерно как там);
  • понимание и любовь к играм (много играет, много знает, легко отделяет хотя бы жанры);
  • не падает со стула (это очень важное требование).

Думаю над тем, чтобы ссылку на профиль Steam’a просить.

ТО ЕСТЬ КАЖДЫЙ ИЗ ВАС МОЖЕТЕ ВЗЯТЬ СЕБЕ ДЖУНА, ВЫ ГОТОВЫ УЧИТЬ?

Гоша: Я готов, но условия не позволяют. Вообще компании, которые сами не учат, со временем начнут жалеть, что так не делали (если доживут, конечно).

Василий: Я готов, чтобы он у меня учился, сидя в отделе. За ручку никто водить не будет и если человек не может решать неформулизованные задачи -  будет проблема.

Вася: Есть известный замкнутый круг: для принятия на работу нужны кейсы, для наличия кейсов нужен опыт работы. И взломать этот круг человек может базовыми знаниями и навыками, умноженными на мотивацию развиваться в этом рынке.

ВАСИЛИЙ, ТЫ ВОТ ПРО АККАУНТ STEAM ЗАГОВОРИЛ. А ЕСЛИ ЭТО ДЕВОЧКА, КОТОРАЯ ИГРАЕТ В MATCH3?

Для принятия на работу игровым аналитиком нужны кейсы, а для кейсов - опыт работы

Василий: Ну это значит, что хотя бы травианы с match3 не спутает. Тут главное быть в теме игр.

Гоша: Я думаю, что человек, который не в теме игр, не захочет сам идти на позицию такую. Тут пока ни денег, ни славы (за редкими исключениями).

Василий: Модно стало, я уже много таких видел. Игровой опыт (не мобильный, к сожалению) очень легко доказать вот так (мне по крайне мере). И это уже повод рассмотреть кандидата поближе.

Вася: Кстати, помню, когда LoL нанимали аналитика, они сразу просили ссылку на профиль, притом не ниже 20 (или около того) уровня.

Гоша: У меня 500 часов в BF1. Надеюсь, однажды мне пригодится.

А МОЖЕТЕ РАССКАЗАТЬ ПРО ИНСТРУМЕНТАРИЙ, КОТОРЫЙ ИСПОЛЬЗУЕТЕ В РАБОТЕ (НЕ ОДНИМ EXCEL’ЕМ ЖИВЕМ ЖЕ)?

Вася: Мой ответ не очень релевантен здесь, мы сами себе инструмент: devtodev + Excel

Гоша: У нас в компании основные две лошадки: веб-аналитика от Infinario (они же Exponea) и сырые данные на ClickHouse, которые гоняем через Excel/Power BI/R/Python в зависимости от сложности запросов и навыков конкретного человека.

Василий: Python (PyCharm), Apache Hive (Hadoop+spark), ClickHouse, devtodev, App Annie, Google Docs (Spreadsheets), блокнотик, книги, игры.

У КАЖДОГО ИЗ ВАС БЫЛИ НЕДАВНО ВАКАНСИИ АНАЛИТИКОВ (А У КОГО-ТО И СЕЙЧАС ЕСТЬ). РАССКАЖИТЕ, КТО ПРИХОДИЛ, КАК ВЫ ОЦЕНИТЕ СРЕДНИЙ УРОВЕНЬ ВСЕХ, С КЕМ ОБЩАЛИСЬ? И, ЕСЛИ МОЖНО, ОТКУДА РЕБЯТА ПРИХОДЯТ И ПОЧЕМУ?

Гоша: Я не смотрю на резюме и не общаюсь, пока не вижу решений тестового задания. 80% выполняли «на отвали» и я даже резюме не читал, так что не знаю. Остальные были уже аналитиками в других компаниях с опытом.

Вот пара задач из нашего тестового:

  1. Вы вернулись из отпуска и с удивлением узнали, что одна из проектных команд успела сделать клон игры Bubble Witch 3 Saga в сеттинге космического вестерна. Игра в Soft Launch уже 8 дней и каждый день в игру «нагоняли» 1000 человек. Через час встреча с советом директоров компании и от вас ждут отчета о перспективности данного проекта. Какие 10 вещей вы посмотрите в аналитике в первую очередь? (Допустим, что разработчик проекта случайно залогировал в аналитике все события в игре со всеми параметрами.)
  2. Возьмем абстрактную match3-игру с уровнями и бустером «Бомба», который можно купить за 100 монет. Продюсер этой абстрактной игры считает, что награда за просмотр видеорекламы должна быть 10 монет, а геймдизайнер считает что 20. Рекламная сеть позволяет пользователю смотреть не более 5 рекламных роликов в день. Вам выпала честь организовать АB-тест их предложений. Как вы его проведете? По каким показателям будете оценивать результат?

Василий: Приходят из совершенно разных мест, прям вот совсем. Основная проблема, почему не взяли:

  1. Ошибки в ТЗ на очень простых вопросах.
  2. Не могут решать неформулизованные задачи.
  3. Не могут дать развернутый ответ.

Вася: Ребята, которые уже работают в игровых компаниях, либо ребята, которые очень хотят туда попасть (а сами при этом либо студенты, либо специалисты в совершенно других отраслях, типа кредитования). Средний уровень (это субъективная характеристика) — нормальный (6/10). По Excel мы их, конечно, не гоняли (представляю, как я спрашивал бы про функцию СРЗНАЧЕСЛИ), но просили, например, пройти наш курс (это заодно и критерий мотивации, 16 лекций как-никак) и посоветовать, как улучшить игру (взяли почти случайную игру из стора).

Откуда приходят те, кто хочет стать игровыми аналитиками

Василий: Мое любимое — это неправильный ответ на вопрос: «Необходимо упорядочить эти величины по возрастанию: Day 1 Retention, Day 1 Rolling Retention, Day 7 Retention». Привет курсу devtodev. Вопрос про то, как улучшить игру, тоже есть, но там самому надо выбрать. Очень часто это калька из Интернета, что в общем-то характеризует уже лучше всяких вопросов.

Вася: Бывало, что мне моим же текстом отвечали на некоторые вопросы, до смешного доходило (до скриншотов из моих статей, например).

Забавный кейс из моей практики: устраивался когда-то в Танки Онлайн (устроился, всё ок) и нужно было проанализировать динамику показателя JAP. Я голову сломал, что это за показатель такой и Google едва не сломал. Нашёл, что у кого-то JAP называли долю  пользователей из Японии - там как раз был процентный показатель.

Ваши гипотезы, что это было на самом деле?

Гоша: Думаю, это  J… Active Players.

Василий: Ставлю на DAU.

У меня первая мысль мысль была про пользователей из Японии, но думаю, что не так все скучно.

Вася: В общем, Just Another Pokazatel’.

ЕСТЬ УСЛОВНАЯ ИГРА. ОНА УЖЕ ЖИВЕТ, ВНУТРИ ЕСТЬ ИГРОКИ. И ВДРУГ ИГРЕ ДАЮТ АНАЛИТИКА. ЧТО ЕМУ НУЖНО СДЕЛАТЬ В ПЕРВУЮ ОЧЕРЕДЬ, И КАК ВООБЩЕ БЫТЬ С ПРОЕКТОМ В ДАЛЬНЕЙШЕМ?

Гоша: У меня был такой кейс. Собственно, с нашей топовой игрой.

  • Сначала опросил продюсера и геймдизайнера по поводу того, в чем, по их мнению, сильные и слабые стороны продукта. Провел ресерч и сразу вскрылось много интересного. Оказалось, что сильные стороны не такие уж и сильные, а слабые - не такие уж и слабые.
  • У любого человека, знакомого с играми (а мы уже решили, что других не берем), будут свои мысли по поводу того, что не так в проекте. Их проверяем тоже.
  • Дальше, в любом случае (если это не было сделано выше) надо смотреть экономику.
  • Дальше смотреть  (если это не было сделано выше) onboarding во всех его проявлениях.

Уверен, что на этом этапе уже будет запас тестов и доработок на год вперед.

Как начать анализировать игру игровому аналитику

Василий: Самое быстрое — это подключить сторонний сервис и подождать, пока все старички прольются через новых. Начать выстраивать свою систему с кастомными треками. Анализировать.

Есть бесполезный пример. Был проект: топовый, без какой либо аналитики. Управлялся геймдизайнерами и продюсером «на чуйке». Долго и нудно (старый легаси код) внедряли аналитику. Все данные сошлись с чуйкой геймдизайнеров. Вывод: хорошо иметь чуйку.

Есть полезный пример, который я в самом начале описал. Нюанс его в том, что там три разные системы аналитики прошли и в итоге это привело к результату.

В идеале стартовать нужно «хоть с какой то» системой. Потому что, когда посреди продакшена вы захотите что-то внедрить, то вы устанете ждать, пока все игроки «просеются»и увидите нормальные цифры.

Вася: Я бы рекомендовал такой алгоритм:

  1. Попроситься сесть рядом с продюсером; если/когда он откажет, вздохнуть и сесть в отдел геймдизайна.
  2. Взять и посчитать все основные метрики проекта за как можно более долгий период (желательно, от основания).
  3. Посмотреть на скачки в поведении этих метрик и разобраться в причинах; этот самый анализ в итоге и даст аналитику понимание того, как пользователи реагируют на игру, что им нужно, что им интересно, как они ведут себя в условиях изменяющегося проекта.
  4. Где-то на этом этапе должны в голове начать рождаться гипотезы, как можно сделать этот проект лучше; эти гипотезы можно обкатывать на геймдизайнерах как раз.

Действительно, важно на всех этапах играть в эту игру самому, глубоко в неё погружаясь

Василий: Да, играть в игру — это, пожалуй, самое первое и самое главное. По крайней мере, на старте.

На этом прекрасном выводе (играйте в игры) мы и распрощались. Спасибо каждому из опрашиваемых, было познавательно.

Подписывайтесь на YouTube-канал нашего образовательного центра и добавляйтесь в нашу группу в Фейсбуке, чтобы всегда оставться в курсе наших последних новостей.

Регистрируйтесь на бесплатный онлайн-курс от devtodev и совершенствуйте свои знания в игровой аналитике. 

Read more