6 марта портал HLTV.org и аналитик Данкан «Thorin» Шилдс обновили рейтинги команд CS:GO. Топ-10 в этот раз отличается лишь в одном: в десятку лучших по версии HLTV.org попали Ninjas in Pyjamas, а Thorin выбрал OpTic Gaming. Однако места распределились по-разному: в половине случаев рейтинги разошлись. В этом нет ничего удивительного, ведь Шилдс и статистики HLTV составляют списки по-разному. Но почему они используют разные метрики? Какая из них точнее отражает состояние сцены? Любой рейтинг претендует на объективность, а объективность – одно из главных научных притязаний. А подходы Торина и HLTV как раз напоминают основные методы гуманитарных наук – количественные и качественные.
Когда проиграл все, что мог, но остался в десятке лучших HLTV
Количественные и качественные методы
В количественных методах используется строгий и формальный подход. Выводы делаются на основании выверенных математических расчетов, поэтому в таких методах очень важна модель или формула. Часто именно количественные методы могут точнее ответить на исследовательский вопрос. Однако они не универсальны. Иногда недостаточно собрать показатели и обработать их. Порой ситуации требуют более детального и внимательного изучения. В таких случаях используют качественные методы. Они помогают понять контекст ситуации и глубже погрузиться в изучаемый объект. Отметим, что оба подхода не противоречат друг другу, просто они опираются на разные предпосылки, а их использование зависит от конкретного случая. Порой их вообще надо комбинировать. Но как это относится к Thorin и HLTV?
Рейтинг HLTV.org
HLTV славится подробной статистической базой, которую использует при составлении рейтинга. Занимается этим совладелец сайта, эксперт по статистике CS:GO Петар «Tgwri1s» Миланович. Раньше в HLTV работал математик Жюльен «topeiko» Хоттиас. В блогах topeiko неоднократно намекал, что для расчета рейтинга HLTV.org использует сложную формулу, которая учитывает много параметров. Однако портал ее не раскрывает, поэтому оценить правдивость слов topeiko невозможно. Но конфиденциальность оправдана, ведь статистика — их хлеб!
Никто не будет критиковать твою метрику, если ее не раскрывать
Рейтинг Thorin
Данкан Шилдс в своих рейтингах отталкивается не только от результатов игр и итогов турниров, но и от неигровых нюансов. Что, если сильная команда проиграла турнир из-за болезни капитана? Или это внутренние конфликты в коллективе повлияли на результат встречи? Это стоит учитывать. Мы не знаем, на что Thorin обращает внимание, а на что нет. Забудем про слова Tgwri1s о том, что сам Thorin разбирается в статистике очень посредственно. Это неважно. Вопрос вообще в другом: какой из подходов лучше описывает соревновательный CS:GO? Формально-математический или описательно-журналистский? Или же есть третий путь?
Почему статистика обманчива
В одном из недавних видео Thorin затронул тему статистики в игре. По его мнению, аналитики постоянно апеллируют к статистике, но при этом совершенно в нее не вникают. Шилдс заявляет, что на сцене нет людей, которые одновременно хорошо разбираются в цифрах и самой игре. При этом Thorin оговаривается, что и сама статистика может вводить в заблуждение. В пример он приводит одну из игр Андреаса «Xyp9x» Хойслета, где игрок Astralis был очень полезным, выигрывал важнейшие клатчи, но итоговая статистика игры от HLTV это не отразила. Другой гипотетический пример: Natus Vincere G2A успешно играют Train против большинства команд, и их соперники начинают постоянно банить эту карту. А условная SK Gaming не боится ее играть и дважды обыгрывает Na’Vi. Статистика скажет, что последние игры на Train Na’Vi проиграли, но ведь это не значит, что они стали играть карту хуже! Выходит, что одной статистикой нельзя вывести достоверное и авторитетное знание об игре.
Почему мы доверяем HLTV.org
Репутация портала и упор на строгую статистику играют на руку HLTV.org. Из-за этого их рейтинг кажется более правдивым. Однако за последний год сцена сильно изменилась, команды постоянно сменяют друг друга на пьедесталах. Осталось не так много коллективов, показывающих стабильно высокие результаты в долгосрочной перспективе. А рейтинг HLTV.org отталкивается именно от достижений команд за несколько месяцев. Поэтому Ninjas in Pyjamas до сих пор остаются в топе, хотя их текущая игра говорит об обратном. Формула HLTV несовершенна.
Рейтинг Торина удостоился высокой оценки от topeiko — 7 из 10. Но очевидно: подход Шилдса тоже далеко не идеален. Британец игнорирует выступления команд в онлайне, ограничивается составлением топ-10 и почти не опирается на статистику. Неизвестно, что аналитик учитывает кроме результатов. Итог: слабая обоснованность.
Рейтинги команд составляют не только Торин и HLTV, но и GosuGamers, и ESL, и сайт 99damage. У каждого подхода свои сильные и слабые стороны, каждый рейтинг в чем-то хорош. Торин прав в одном: игру нельзя описать одними лишь цифрами. Идеальный вариант — комбинация методов, которая будет покрывать недостатки какого-то одного подхода. Но разработать новую методику — потратить много времени и сил. Никто не готов отказываться от привычных метрик. Так что в комментариях еще не раз помянут добрым словом неадекватность их всех.