OpenAI Five: 95% и 2,9%
В августе 2018 года OpenAI показала бота OpenAI Five в матчах против людей [1]. Перед первой игрой нейросеть оценила драфт и дала себе 95% на победу, хотя людям матчап казался ровным. Бот выиграл за 21:37. Во второй игре прогноз был 76,2%, снова победа.
В третьей игре героев боту подобрала аудитория. Прогноз после драфта: 2,9%. По ходу игры он поднимался максимум до 17%, и бот проиграл на 35:47.
Модель видит в драфте то, чего не видят даже сильные игроки. Но обрати внимание: игра с прогнозом 2,9% длилась больше получаса. Плохой драфт не означает мгновенное поражение, он означает, что тебе придётся играть лучше соперника.
10 лет исследований: от 69,8% до 58,7%
Предсказывать победу по пикам пробовали студенты Stanford, ВШЭ, NTU и независимые команды. Вот что получилось:
| Год | Работа | Матчей | Только по пикам |
|---|---|---|---|
| 2013 | Stanford, Conley & Perry [2] | 56 691 | 69,8% |
| 2015 | UCSD, Kalyanaraman [3] | 30 426 | 69,4% |
| 2015 | Kinkade & Lim, по обзору [5] | — | 72,9% |
| 2017 | ВШЭ / Yandex Data Factory, Semenov и др. [4] | 5 071 858 | AUC 0,66–0,71 |
| 2020 | NTU, Wu Hao [6] | 181 717 | 60,1% |
| 2026 | Бенчмарк batru.gg [7] | 3 579 956 | 58,7% |
Почему цифра упала? Ранние работы брали небольшие или отфильтрованные выборки старых патчей, часто только высокий скилл и без ливеров. Современные бенчмарки проверяют модель на миллионах обычных игр всех рангов. Авторы batru прямо пишут, что сильно более высокие цифры обычно означают утечку информации из уже сыгранного матча [7]. Поэтому к громким заявлениям вроде «81% точности» стоит относиться скептически.
Честный итог: по одним пикам можно предсказать примерно 58–60 игр из 100. Остальное решают люди. Но 58–60 — это заметно больше 50, и разница появляется ещё до выхода из фонтана.
Почему средние винрейты врут
Самая частая ошибка — смотреть на общий винрейт героя. В бенчмарке batru простое усреднение винрейтов героев угадало исход в 52,2% игр. Это хуже, чем стратегия «всегда ставь на Radiant», которая даёт 53,1% просто из-за преимущества стороны [7] [9]. Даже когда усреднение уверенно предсказывало 65% и больше, оно оказывалось право только в 56,0% случаев.
То же видно в старых работах. По обзору 2017 года, модель на сумме индивидуальных винрейтов давала 63%, а с учётом пар героев, то есть синергии и контрпиков, — 72,9% [5]. В исследовании ВШЭ модели, которые учитывают взаимодействие героев (Factorization Machines и XGBoost), обошли простую логистическую регрессию [4].
Важно не «какой герой сильный», а «кто против кого и кто с кем». Тир-лист отвечает на первый вопрос, драфт — на второй.
Драфт важнее на низких рангах
Исследование ВШЭ на 5 млн матчей разделило игры по уровню скилла, и разница оказалась заметной [4]:
| Уровень скилла | ROC AUC по пикам (лучшая модель) |
|---|---|
| Normal | 0,706 |
| High | 0,670 |
| Very High | 0,660 |
ROC AUC — это не процент угаданных игр, а мера того, насколько хорошо модель отделяет победы от поражений: 0,5 — монетка, 1,0 — идеальный прогноз. Смысл простой: на обычных рангах исход сильнее зависит от пиков. Авторы объясняют это тем, что сильные игроки умеют играть против контрпиков, а на низком скилле люди уверенно играют меньше героев. Если ты не на высоком рейтинге, драфт для тебя важнее, чем для про-игроков.
Почему преимущество так быстро растёт
Если добавить данные из самой игры, прогноз становится точным очень быстро. В работе Hodge и соавторов модель на живых матчах ESL One Hamburg 2017 доходила до 85% уже после 5 минут [8]. По обзору 2017 года, другая работа получала 82,23% на 5-й минуте [5]. Преимущество с драфта превращается в выигранные линии, а выигранные линии — в снежный ком. Поэтому драфт и линии обычно нужно рассматривать вместе.
Что значит «Dire 64%» в Outdraft
Outdraft считает драфт по тысячам матчей за последние четыре недели и показывает результат как шанс на победу. «Dire 64%» значит: в похожих драфтах Dire выигрывает примерно 64 игры из 100. Это не гарантия. В 36 таких играх из 100 побеждает Radiant.
У хорошего прогноза есть простая проверка — калибровка. Если модель говорит «60–65%», такие игры должны заканчиваться победой примерно в 60–65% случаев. Например, batru публикует такую проверку для своей модели: прогнозы 60–65% сбылись в 62,8% игр [7]. Это правильный способ читать любой «процент драфта»: как шансы на дистанции, а не обещание на одну игру.
Вместе с общим процентом Outdraft показывает вклад каждого героя, ⭐ у самого влиятельного героя и 🔻 у самого слабого, а также расклад по линиям: Good Even Hard Very hard.
Признаки проигранного драфта и что с ним делать
- Нечем убить ключевого героя врага. Нет ни среза лечения, ни сайленса, ни урона по площади против иллюзий. Подробнее — в статье «Почему этого героя невозможно убить».
- Две-три тяжёлые линии. Если почти все линии Hard или Very hard, к 10-й минуте у врага будет заметный перевес.
- Нет контроля и инициации. Команда не может начать драку или поймать одного героя.
Если драфт всё-таки проигран: играй от своей самой сильной линии и своего тайминга, собирай предметы против конкретного состава врага и не дерись на его условиях. И помни про 2,9% у OpenAI Five: даже очень плохой драфт оставляет игру, просто её придётся вытаскивать головой.