OpenAI Five: 95% і 2,9%
У серпні 2018 року OpenAI показала бота OpenAI Five в матчах проти людей [1]. Перед першою грою нейромережа оцінила драфт і дала собі 95% на перемогу, хоча людям матчап здавався рівним. Бот виграв за 21:37. У другій грі прогноз був 76,2%, знову перемога.
У третій грі героїв ботові підібрала аудиторія. Прогноз після драфту: 2,9%. Протягом гри він піднімався щонайбільше до 17%, і бот програв на 35:47.
Модель бачить у драфті те, чого не бачать навіть сильні гравці. Але зверни увагу: гра з прогнозом 2,9% тривала понад пів години. Поганий драфт не означає миттєвої поразки, він означає, що тобі доведеться грати краще за суперника.
10 років досліджень: від 69,8% до 58,7%
Передбачати перемогу за піками пробували студенти Stanford, ВШЕ, NTU та незалежні команди. Ось що вийшло:
| Рік | Робота | Матчів | Лише за піками |
|---|---|---|---|
| 2013 | Stanford, Conley & Perry [2] | 56 691 | 69,8% |
| 2015 | UCSD, Kalyanaraman [3] | 30 426 | 69,4% |
| 2015 | Kinkade & Lim, за оглядом [5] | — | 72,9% |
| 2017 | ВШЕ / Yandex Data Factory, Semenov та ін. [4] | 5 071 858 | AUC 0,66–0,71 |
| 2020 | NTU, Wu Hao [6] | 181 717 | 60,1% |
| 2026 | Бенчмарк batru.gg [7] | 3 579 956 | 58,7% |
Чому цифра впала? Ранні роботи брали невеликі або відфільтровані вибірки старих патчів, часто лише високий скіл і без ліверів. Сучасні бенчмарки перевіряють модель на мільйонах звичайних ігор усіх рангів. Автори batru прямо пишуть, що значно вищі цифри зазвичай означають витік інформації з уже зіграного матчу [7]. Тож до гучних заяв на кшталт «81% точності» варто ставитися скептично.
Чесний підсумок: за самими піками можна передбачити приблизно 58–60 ігор зі 100. Решту вирішують люди. Але 58–60 — це помітно більше за 50, і різниця з'являється ще до виходу з фонтану.
Чому середні вінрейти брешуть
Найчастіша помилка — дивитися на загальний вінрейт героя. У бенчмарку batru просте усереднення вінрейтів героїв вгадало результат у 52,2% ігор. Це гірше, ніж стратегія «завжди став на Radiant», яка дає 53,1% лише через перевагу сторони [7] [9]. Навіть коли усереднення впевнено передбачало 65% і більше, воно виявлялося правим лише в 56,0% випадків.
Те саме видно в старих роботах. За оглядом 2017 року, модель на сумі індивідуальних вінрейтів давала 63%, а з урахуванням пар героїв, тобто синергії й контрпіків, — 72,9% [5]. У дослідженні ВШЕ моделі, які враховують взаємодію героїв (Factorization Machines і XGBoost), обійшли просту логістичну регресію [4].
Важливо не «який герой сильний», а «хто проти кого і хто з ким». Тір-лист відповідає на перше питання, драфт — на друге.
Драфт важливіший на нижчих рангах
Дослідження ВШЕ на 5 млн матчів поділило ігри за рівнем скілу, і різниця виявилася помітною [4]:
| Рівень скілу | ROC AUC за піками (найкраща модель) |
|---|---|
| Normal | 0,706 |
| High | 0,670 |
| Very High | 0,660 |
ROC AUC — це не відсоток вгаданих ігор, а міра того, наскільки добре модель відділяє перемоги від поразок: 0,5 — монетка, 1,0 — ідеальний прогноз. Сенс простий: на звичайних рангах результат сильніше залежить від піків. Автори пояснюють це тим, що сильні гравці вміють грати проти контрпіків, а на нижчому скілі люди впевнено грають меншу кількість героїв. Якщо ти не на високому рейтингу, драфт для тебе важливіший, ніж для профі.
Чому перевага так швидко росте
Якщо додати дані із самої гри, прогноз стає точним дуже швидко. У роботі Hodge та співавторів модель на живих матчах ESL One Hamburg 2017 сягала 85% уже після 5 хвилин [8]. За оглядом 2017 року, інша робота отримувала 82,23% на 5-й хвилині [5]. Перевага з драфту перетворюється на виграні лінії, а виграні лінії — на сніжний ком. Тому драфт і лінії зазвичай варто розглядати разом.
Що означає «Dire 64%» в Outdraft
Outdraft рахує драфт за тисячами матчів за останні чотири тижні й показує результат як шанс на перемогу. «Dire 64%» означає: у схожих драфтах Dire виграє приблизно 64 гри зі 100. Це не гарантія. У 36 таких іграх зі 100 перемагає Radiant.
У доброго прогнозу є проста перевірка — калібрування. Якщо модель каже «60–65%», такі ігри мають закінчуватися перемогою приблизно в 60–65% випадків. Наприклад, batru публікує таку перевірку для своєї моделі: прогнози 60–65% справдилися в 62,8% ігор [7]. Це правильний спосіб читати будь-який «відсоток драфту»: як шанси на дистанції, а не обіцянку на одну гру.
Разом із загальним відсотком Outdraft показує внесок кожного героя, ⭐ біля найвпливовішого героя й 🔻 біля найслабшого, а також розклад по лініях: Good Even Hard Very hard.
Ознаки програного драфту і що з ним робити
- Нічим убити ключового героя ворога. Немає ні зрізання лікування, ні сайленсу, ні шкоди по площі проти ілюзій. Докладніше — у статті «Чому цього героя неможливо вбити».
- Дві-три важкі лінії. Якщо майже всі лінії Hard або Very hard, до 10-ї хвилини ворог матиме помітну перевагу.
- Немає контролю та ініціації. Команда не може почати бійку чи впіймати одного героя.
Якщо драфт усе ж програно: грай від своєї найсильнішої лінії та свого таймінгу, збирай предмети проти конкретного складу ворога й не бийся на його умовах. І пам'ятай про 2,9% в OpenAI Five: навіть дуже поганий драфт залишає гру, просто її доведеться витягувати головою.