AI 打星际取重大进步 DeepMind暴雪发神秘预告

AI打星际2难在哪里

2016年11月暴雪嘉年华上，DeepMind工程师宣布了训练AI打星际2的计划。算起来到现在已经两年多了。

DeepMind与暴雪合作的目标之一，就是开发一套足够好的人工智能系统，使之可以击败星际2人类选手。就像AlphaGo击败李世乭、柯洁一样。

然而，最终的目标是将其中使用的技术应用到现实世界，而不是让它始终停留在游戏里面。

“我们正在试图理解人类以及我们大脑的工作方式。”暴雪首席软件工程师Jacob Repp此前说，“如果我们能够得到这种高质量的数据流——人类玩游戏时的原始输入以及由此产生的结果——那就能成为研究人们行为的有用数据。”

对人工智能研究人员来说，星际2是个颇为有趣的挑战。

与国际象棋或围棋不同，星际玩家面对的是不完美信息博弈。“战争迷雾”意味着玩家的规划、决策、行动，要一段时间后才能看到结果。

DeepMind团队负责人Oriol Vinyals说，在星际2里一个玩家可能看到对手的侦察兵，然后又消失在视野中。对人工智能来说，记住他们遇到的东西，并且理解这可能表明敌人正在某个地方修建基地，这种记忆不仅需要保存，还要在未来针对某个信息调取出来。

“在星际2中，这非常重要，但却很微妙，可以将未来与过去联系起来。”他说，“很难建立因果关系，因为游戏中会发生很多事情。”

连著名的AlphaGo“人肉臂”黄士杰，也已经转到星际2的项目中。很多人认为在即时战略游戏中，AI的反应速度会成为极大的优势，但事实并非如此。

黄士杰此前解释称，围棋只有361个落子点，对AI来说全部游戏内容都是可见的。但星际2游戏有大量全黑的地图，玩家需要探索地图以及侦查对手动向，才能制定相应的策略。

几乎每次鼠标移动，都能视为一次落子。这种不确定性让星际2对AI来说，难度比围棋要高很多。

这有一段6分钟的视频，配好了中文字幕，能更直观一点的解释AI打星际2到底是怎么回事。

其中重点提到了AI打星际的三大难题：

1、不完美信息博弈

2、需要同时控制上百个单位

3、最难的是，需要制定长期策略

星际2的AI大战进展

为了教AI打星际2，暴雪和DeepMind在2017年8月，发布了星际2中加速AI研究的工具SC2LE。GitHub的传送门在这里：https：//github.com/Blizzard/s2client-proto

工具包推出同时，他们还开源了一套星际2的迷你游戏，是星际2部分操作的抽象产物，AI能从中练习移动、采矿、建造单位等等技能。

到2018年6月，DeepMInd终于宣布，用关系性深度强化学习搞定了这些小游戏，在六个小游戏中达到了当前最优水平，其中4个还超过了大师级人类玩家。

想更深入了解可以阅读这篇论文：Relational Deep Reinforcement Learninghttps：//arxiv.org/abs/1806.01830

不过，在星际2上有野心的不止DeepMind。

去年9月，腾讯AI Lab发布论文称，他们构建的AI首次在完整的虫族VS虫族比赛中击败了星际2的内置机器人Bot。虽然不是严格意义上的“自学”，AI还高度依赖人为归纳的信息，但迄今为止，这是我们在星际2项目上见到的最有建树的成果之一。

腾讯实际上开发了两个AI，基于扁平化动作结构的深度强化学习智能体TStarBots1，和基于分层动作结构规则控制器的智能体TStarBots2。

这两个AI都能在完整对战中击败等级1~10的游戏内置机器人（1v1虫族对抗，地图：深海暗礁