亚博:Dota2团战AI击败人类最全解析:AI一日人间180年
这意味着什么?
有了这些限制,AI打的DotA就比人类版有了很多简化,也说明了这个AI还有些没掌握的技能。
比如英雄的选择和阵容的搭配。双方只有固定的5个英雄,就不需要掌握英雄之间的配合和克制情况,游戏也少了很多变化。
AI现在也还不懂得对视野的控制。AI玩的版本没有隐身装备、没有插眼的操作、没有扫描,于是双方只能在游戏原本设定的视野中对战,不能靠自己的能力改变视野,也不需要侦查。
游戏中,如果不考虑信使,AI控制的单位也只能是5个,这也就是为什么不能出现召唤单位和幻象。
另外,没有游戏野区最强大的怪物肉山,也就没有了打肉山能得到的复活盾。在职业比赛中,复活盾带来的原地满状态复活能力,可以说是个翻盘利器。
让人类职业选手来打一个这样的DotA,并没有什么优势;如果让现在的OpenAI Five去打人类版DotA,这支没学过选英雄、做视野、偷鸡等等技能,还少学了很多装备的队伍,也会不知所措。
不过,OpenAI也说了,这些限制大都是因为游戏里有些部分还没整合进来,像插眼、肉山这种职业比赛中的关键元素,他们会尽快加上。
AI一日,人间180年
虽然还有种种限制,但不可否认,AI的进步还是快得吓人。
OpenAI的解释是,这个AI通过自我对战来提升,从随机参数开始,不用人类玩家的方法引导,也不人类玩家方法中搜索。
他们还特别提到,在训练1v1模型的时候,是专门针对卡兵这个操作设置了奖励的。但是在OpenAI Five模型中并没有这个奖励,但这个新模型还是自己学会了卡兵。
AI每天的训练量,相当于打180年游戏。可谓真·勤学苦练,人类选手一辈子的训练量也不及它半天。
这些每天训练180年的选手,究竟是些什么怪物?
他们的长相是这样的:
不要被结构图吓到,简单来说,每个选手,也就是每个智能体(agent),都是一个单层LSTM(长短时记忆网络),有1024个单元,能够通过Valve的Bot API观察当前游戏状态,控制自己的英雄接下来选择哪一种操作、释放到XY坐标系中的哪一点。
智能体能够观察到的信息和人类差不多,包括自身、队友和敌人的状况,比如位置、血量、攻击力、护甲、携带物品、能力等等。可能会有一点点区别的,就是智能体对过去12帧的血量、攻击和被攻击情况等历史信息大概记得比人类清楚。
这些信息,对于智能体来说是一个包含20000数值的列表,而它判断之后发出的行动指令,是8个值的列表。
选手们的训练,使用的是扩展版的近端策略优化(PPO)方法,这也是OpenAI现在默认的强化学习训练方法。这些智能体的目标是最大化未来奖励的指数衰减和。
AI选手们在训练中饭量惊人,承载它们需要256块P100 GPU和12.8万个CPU核心。
上面的5v5版本与1v1版本对比,有一个令人欣慰的结果:OpenAI Five需要的CPU和GPU计算力,与去年击败Dendi的1v1版相比,并没有翻到5倍。
5个智能体训练出来,它们之间又是怎样配合的呢?总不能像我们人类开黑一样互相喊话吧?
答案是,他们之间没有那种人类可以理解的沟通渠道,而是由一个“团队精神”超参数来统一控制。这个超参数的范围在0到1之间,决定了选手对与自身奖励函数和队友平均奖励函数的关注程度分配。
留给AI的时间还很多
OpenAI说,他们打算在7月28日和顶级选手对战一番,留给他们的时间,还有整整1个月。8月,他们还要和顶级人类专业选手在TI上较量,如果这一场较量在AI结束时的话,留给AI的时间还有两个月。
按照“人间一天,AI界180年的”算法,加上肉山、插眼等关键元素之后,只要能给AI留半个月时间和自己对战,在它的世界里就可以说修炼了“数千年”。
这场对战,还开设了直播,等着和人类观众相见。
传送门
7月28日大战的直播:https://www.twitch.tv/openai
OpenAI博客详解(包含各种场景下AI观察到的情形和可采取行动的交互图解):https://blog.openai.com/openai-five/
LSTM架构大图:https://d4mucfpksywv.cloudfront.net/research-covers/openai-five/network-architecture.pdf
PPO:https://arxiv.org/abs/1707.06347
— 完 —
实习生招聘
量子位正在招募市场运营实习生,策划执行AI明星公司CEO、高管等参与的线上/线下活动,有机会与AI行业大牛直接交流。一份丰富的实习经历等你解锁~
工作地点在北京中关村。简历欢迎投递到quxin@qbitai.com
具体细节,请在量子位公众号(QbitAI)对话界面,回复“实习生”三个字。
量子位QbitAI · 头条号签约作者
վ‘ᴗ’ ի 追踪AI技术和产品新动态
本文TAG标签:
相关文章:
相关推荐:
- [中超]中超联赛战罢第26轮 保级大战愈演愈烈
- [CBA]备战新赛季!王哲林晒照 秀麒麟臂展示肌肉
- [意甲]换帅如换刀!罗马一场轰3球+零封意甲第1,此前4场2球濒临降级区
- [西甲]巴萨客场大捷,6连胜领跑西甲积分榜
- [英超]曼城2-2绝平10人阿森纳!13分重返榜首,斯通斯救主,哈兰德破门
- [欧冠]蓝黑军团1-2丢失米兰德比,两大罪人被揪出,该清醒面对现实了!
- [NBA]詹姆斯手臂新文身曝光:添奥运五环纪念夺金
- [中超]中超-武磊2球赛季31球破纪录谭龙2球 亚泰3-4海港
- [CBA]周琦、张镇麟空降西安一中学 指导学生篮球技巧
- [意甲]尤文图斯0-0那不勒斯,尤文图斯升至第4,那不勒斯升至第2
网友评论: