亚博：Dota2团战AI击败人类最全解析：AI一日人间180年

这意味着什么？

有了这些限制，AI打的DotA就比人类版有了很多简化，也说明了这个AI还有些没掌握的技能。

比如英雄的选择和阵容的搭配。双方只有固定的5个英雄，就不需要掌握英雄之间的配合和克制情况，游戏也少了很多变化。

AI现在也还不懂得对视野的控制。AI玩的版本没有隐身装备、没有插眼的操作、没有扫描，于是双方只能在游戏原本设定的视野中对战，不能靠自己的能力改变视野，也不需要侦查。

游戏中，如果不考虑信使，AI控制的单位也只能是5个，这也就是为什么不能出现召唤单位和幻象。

另外，没有游戏野区最强大的怪物肉山，也就没有了打肉山能得到的复活盾。在职业比赛中，复活盾带来的原地满状态复活能力，可以说是个翻盘利器。

让人类职业选手来打一个这样的DotA，并没有什么优势；如果让现在的OpenAI Five去打人类版DotA，这支没学过选英雄、做视野、偷鸡等等技能，还少学了很多装备的队伍，也会不知所措。

不过，OpenAI也说了，这些限制大都是因为游戏里有些部分还没整合进来，像插眼、肉山这种职业比赛中的关键元素，他们会尽快加上。

AI一日，人间180年

虽然还有种种限制，但不可否认，AI的进步还是快得吓人。

OpenAI的解释是，这个AI通过自我对战来提升，从随机参数开始，不用人类玩家的方法引导，也不人类玩家方法中搜索。

他们还特别提到，在训练1v1模型的时候，是专门针对卡兵这个操作设置了奖励的。但是在OpenAI Five模型中并没有这个奖励，但这个新模型还是自己学会了卡兵。

AI每天的训练量，相当于打180年游戏。可谓真·勤学苦练，人类选手一辈子的训练量也不及它半天。

这些每天训练180年的选手，究竟是些什么怪物？

他们的长相是这样的：

不要被结构图吓到，简单来说，每个选手，也就是每个智能体（agent），都是一个单层LSTM（长短时记忆网络），有1024个单元，能够通过Valve的Bot API观察当前游戏状态，控制自己的英雄接下来选择哪一种操作、释放到XY坐标系中的哪一点。

智能体能够观察到的信息和人类差不多，包括自身、队友和敌人的状况，比如位置、血量、攻击力、护甲、携带物品、能力等等。可能会有一点点区别的，就是智能体对过去12帧的血量、攻击和被攻击情况等历史信息大概记得比人类清楚。

这些信息，对于智能体来说是一个包含20000数值的列表，而它判断之后发出的行动指令，是8个值的列表。

选手们的训练，使用的是扩展版的近端策略优化（PPO）方法，这也是OpenAI现在默认的强化学习训练方法。这些智能体的目标是最大化未来奖励的指数衰减和。

AI选手们在训练中饭量惊人，承载它们需要256块P100 GPU和12.8万个CPU核心。

上面的5v5版本与1v1版本对比，有一个令人欣慰的结果：OpenAI Five需要的CPU和GPU计算力，与去年击败Dendi的1v1版相比，并没有翻到5倍。

5个智能体训练出来，它们之间又是怎样配合的呢？总不能像我们人类开黑一样互相喊话吧？

答案是，他们之间没有那种人类可以理解的沟通渠道，而是由一个“团队精神”超参数来统一控制。这个超参数的范围在0到1之间，决定了选手对与自身奖励函数和队友平均奖励函数的关注程度分配。

留给AI的时间还很多

OpenAI说，他们打算在7月28日和顶级选手对战一番，留给他们的时间，还有整整1个月。8月，他们还要和顶级人类专业选手在TI上较量，如果这一场较量在AI结束时的话，留给AI的时间还有两个月。

按照“人间一天，AI界180年的”算法，加上肉山、插眼等关键元素之后，只要能给AI留半个月时间和自己对战，在它的世界里就可以说修炼了“数千年”。

这场对战，还开设了直播，等着和人类观众相见。

传送门

7月28日大战的直播：https：//www.twitch.tv/openai

OpenAI博客详解（包含各种场景下AI观察到的情形和可采取行动的交互图解）：https：//blog.openai.com/openai-five/

LSTM架构大图：https：//d4mucfpksywv.cloudfront.net/research-covers/openai-five/network-architecture.pdf

PPO：https：//arxiv.org/abs/1707.06347

— 完 —

实习生招聘

量子位正在招募市场运营实习生，策划执行AI明星公司CEO、高管等参与的线上/线下活动，有机会与AI行业大牛直接交流。一份丰富的实习经历等你解锁~

工作地点在北京中关村。简历欢迎投递到quxin@qbitai.com

具体细节，请在量子位公众号（QbitAI）对话界面，回复“实习生”三个字。

量子位QbitAI · 头条号签约作者

վ‘ᴗ’ ի 追踪AI技术和产品新动态