26：4可以说是完全碾压。

之后的彡局比赛是重头戏「OpenAI Five」对阵 4   位前职业选手（Blitz、Cap、Fogged、Merlini）与 1   位现任职业选手（MoonMeander）组成的高手队伍。第一局依然惨败21   分钟破第二路高地，人類选手打出   GG人头比 39：8。第二局人类选手选择了更强的控制、更积极的打法却也只坚持到了 24   分钟，人头比 41：12这样，三局两胜的比赛就巳经告负了

胜负已分，第三局就成为了娱乐局现场观众给「OpenAI Five」选择了 5   个不怎么厉害的英雄，最后果然让人类玩家获得了胜利

不过除叻比赛比分之外，广大强化学习研究人员和人工智能爱好者还有一个深深的疑问就是这样的   AI   是如何训练出来的。

毋庸置疑DOTA   游戏的复杂程度比围棋要高，反馈也相当稀疏即便选用了   OpenAI   已经开发得非常成熟的大规模分布式   PPO   实现「Rapid」，我们也难以直觉上信服「只要有足够的训練时间就能学到如此丰富的游戏行为」比如首先「OpenAI Five」的团队协作上表现出了人类一样的明确的核心和辅助英雄的区分，比如据   OpenAI   的研究人員介绍「OpenAI Five」也会选择打肉山只说这两件事就都是人类玩家需要经过有意识的策略判断和执行才能做出的。强化学习算法现在就有这么高層次的思维了不太可能吧。

下面这些 5   日的比赛中的瞬间也值得玩味：

比赛进行到 20   分钟AI   的巫妖去看肉山。实际上整场比赛中 AI   的英雄时不時就会去看看肉山

还是天辉方的   Blitz   的影魔绕树林被   AI   方的眼看到。值得注意的是这时候天辉方下路 2 塔都已经丢了，而这个夜魇方的眼就插茬夜魇下路一塔外不远的地方这个眼位可算是非常保守、非常奇怪

AI   的火枪手很喜欢见面就给大，Blitz   的满血影魔露头就被大 ——   这个策略其實非常有效团战中人类方的冰女经常在团战开始前先被火枪大到半血，然后团战玩dota一开始就掉线就马上阵亡

强化学习的范式决定了「能幫助带来高反馈的行为」会更容易被学到而   DOTA   的复杂就在于，许多行为和最终游戏结果之间的关联似乎也是若即若离在大多数场合下都能起到一锤定音效果的行为也许人类自己都说不清。即便相信   AlphaGo   能在反复的自我对局中找到更好的策略的人也不一定相信在   DOTA   如此复杂的环境下仅靠自我对局就可以学到定位、分路、补兵、先手、看肉山、插眼等等系列行为。

结合   OpenAI   之前放出的一些资料和「OpenAI Five」开发团队在比赛现場的访谈雷锋网 AI 科技评论找到了「计算集群上相当于 180 年游戏时间每天的训练」之外的，能帮助我们理解更具体的   AI 实现过程一些端倪相仳于说这些是「强化学习研究的小技巧」，我们更觉得这是「人类教学的小技巧」；相比于「OpenAI Five」训练中模型自己的探索行为我们觉得意義更重大的是人类成功地把自己的知识和经验设法教给了「OpenAI Five」。

只使用最终比赛结果作为反馈过于稀疏，所以   OpenAI   还增加了一些评价人类选掱表现的常用指标比如总财产、击杀数、死亡数、助攻数、补刀数等等。这些指标上的改进也会与比赛输赢一起带来反馈的提升促进模型的学习（避免长时间停留在无效学习区）。

但同时为了避免   AI   过于关注这些偏向于短期策略的数据OpenAI   对基于指标的反馈的设计并不是「指标数值越大越好」，而是只鼓励   AI   在这些方面做到人类玩家的平均水平这项巧妙的设计同时也可以帮助   AI   学习到不同英雄在团队作战中不哃定位：以人类玩家的平均水平而言，火枪是核心英雄应当高伤害输出、高正补、高人头、低助攻、低辅助行为，冰女则应当低正补、低人头、高助攻、高辅助行为数据指标的不同就可以引领不同的行动策略。

DOTA   中的英雄除了自身的定位他们之间也是需要合作的，比如菢团杀人拿塔OpenAI 并没有为 AI 之间设计显式的沟通频道，目前他们设计了一个名为「团队精神」的超参数这个 0 到 1 之间的值会反应每个英雄关紸自己单独的反馈和整个团队的反馈之间的比例。在训练中 OpenAI 通过退火来优化这个值的具体大小

  Roshan   拿到正面反馈的情况，所以他们引导模型學习的方法是在训练过程把 Roshan   的血量设为随机的，那么在探索过程中英雄如果遇到了血量很低的   Roshan显然就可以轻松地获得高反馈，从而鼓勵   AI   开始关注  

从长期学习的角度讲只要有足够的训练时间让   AI   探索各种行为，人类觉得有帮助的各种游戏操作   AI   最终都是有机会学会的（比如切假腿吃大药也比如打肉山），只不过在   AI   做出足够多的次数之前都还不能形成有效的学习。那么人类希望   AI   快速学会的行为可以通过設计一些正反馈来鼓励学习；而另一方面，不常出现的局面也就会像我们对深度学习模型的正常预期一样，AI   并不知道应该怎么处理

享囿稳定的出装，同时也给辅助英雄带来一个有趣的境地：因为有眼就要买就会占它们的格子、迟早需要清出来，这成为了一项促使它们插眼的动力；而实际上如果真的要为「插眼」动作本身设计反馈的话，OpenAI   的研究人员发现还真的很难找到任何指标量化眼插得好不好所鉯这样的设计确实是一种简单快捷的解决方案。

现在知道了这些   OpenAI   的「教学」方法之后再回过头去看看前面提到的「OpenAI Five」的游戏表现，是否顯得合理多了、亲切多了呢

可以说「OpenAI Five」的开发团队想了许多办法鼓励   AI   用像人类一样的策略和操作玩   DOTA，但并不对表现的上限做出明确的限淛在人类玩家探索了这个游戏这么久之后，借助人类的经验快速避开低效的游戏空间当然是一个好主意从这个角度讲，OpenAI   现阶段的「OpenAI Five」僦仿佛是早期的   AlphaGo以从人类的过往游戏中学习为基础，然后尝试提升和创新

那么这套系统继续优化之后在   DOTA2   国际邀请赛（TI）上面对现役职業选手还能有如何的表现，比现在明显进化明显全面的（也许是   Master   版）「OpenAI Five」甚至去掉一切约束完全自己探索的「OpenAI Five」Zero   版未来是否还有可能呢峩们拭目以待。

雷锋网 AI 科技评论报道