来自 技术 2019-01-24 00:00 的文章

DeepMind携手暴雪发战帖:周五直播AI打星际II,发

大数据文摘出品

作者:魏子敏、蒋宝尚

半年前,OpenAI Five在Ti8赛事中与人类职业选手大战DOTA的盛况还历历在目,年前,DeepMind AI也要在游戏界搞大事情了。

这次,AI要挑战的是暴雪的经典游戏——星际争霸II。

DeepMind今天在twitter上公开发布了“战帖”,表示要在两天后当地时间周四下午6点,也就是北京时间周五凌晨2点,直播打星际II。

这不是一次简单的直播,更像是一场特别的“发布会”,DeepMind想要通过这场比赛,公开展示AI“学到的新战术”。

本次的将要出战的AI是由DeepMind和暴雪联合培养的,经过了“特别的训练方式”,似乎对这次比赛的胜利很有信心。

比赛将会在星际的Twitch频道和DeepMind的Youtube频道同步直播,先给出网址,星际II的玩家们,你们准备好对抗AI了吗?

Twitch

https://www.twitch.tv/starcraft

YouTube:

https://www.youtube.com/c/deepmind

暴雪:“所有AI都在以几何速度学习进步”

暴雪在最近的BlizzCon上,总结了自己2018年的工作,并相当低调地发布了“与DeepMind合作正在继续”的更新:

DeepMind一直在努力训练他们的AI更好地了解星际争霸II。一旦它开始掌握游戏的基本规则,它开始展示“有趣”的行为,例如立即冲向对手。目前,即时在“疯狂”难度下的星际争霸II,AI的成功率已经可以达到50%!

而且它还在学习:“在向它提供了更多真实玩家的游戏回放之后,AI开始执行标准的宏观策略,以及防御诸如加农炮冲击等激进战术。”

暴雪的新年总结

经过三个月的训练,显然这只AI取得了不错的进展,而DeepMind和暴雪都认为现在已经到了将其公诸于众的时候。

暴雪今天也发布声明称,这场比赛将提醒我们,所有AI都在以几何速度学习。“星际争霸游戏已经成为人工智能社区的“巨大挑战”,因为它们是针对诸如规划,处理不确定性和空间推理等问题的进展基准的完美环境。”

其实早在2016年,Deepmind已经立下Flag要教会AI玩儿星际争霸II,也已经有包括facebook、阿里巴巴等不少科技公司或者研究机构开拓过“星际”这片竞技场,但DeepMind这样专治人类各种不服的公司正式宣布与暴雪合作,还是让一票星际玩家大呼“热血”。暴雪承诺将持续发布从“星际争霸II”天梯中收集的数十万个匿名录像,这会将训练变得更加容易。

2017年7月份,DeepMind已经官宣正式与暴雪娱乐合作,共同开发可以在星际争霸II中与人类玩家对抗的AI,并且发布了SC2LE,一个旨在加速即时战略游戏当中AI应用的工具集。

这次训练的AI所采用的数据,很可能是暴雪承诺过的“星际争霸II”天梯中收集的数十万个匿名录像。有了这些数据,相信AI的能力也会有突飞猛进的提升。

后台回复“星际争霸”,即可获得DeepMind相关论文

搞定星际争霸可能需要十只升级版阿尔法狗

不要以为有了优质数据就能训练出来超强的AI。其实这并不是一项轻松的任务,因为视频游戏的复杂性和更多可能性也让AI战胜人类要远比在棋盘游戏上复杂。

星际争霸和星际争霸II是史上最大和最成功的游戏之一,它们见证了许多玩家从青葱岁月到为人父母的20多年。其原始游戏早已被AI和ML研究人员使用,并在每年的AIIDE机器人大赛中进行角逐。

AIIDE机器人大赛:

http://www.cs.mun.ca/~dchurchill/starcraftaicomp/

使用AI在星际争霸中对战人类玩家会比围棋艰难得多,对于AI来说,最大的难点在于,每一场对决都存在大量可能的方式。

据估计,每场对决有101685种可能的配置,为了给大家一个直观感受,阿尔法狗的配置层是10170。

此外,不同于棋类游戏的轮流依次进行走步,并且拥有决策的时间,在星际争霸中,玩家会同时出招,且不能看到对方玩家的状态,也就是说,所有决定需要在“不完整信息”的情况下做出。所有这些都意味着,你不能仅靠逻辑和一些步骤找到赢得对决的最优方式,玩家更需要的是策略和直觉。

PySC2助力AI训练

星际争霸II的玩家在同一时间可能有300多种基本行动可以选择,因此策略集及策略选择也对AI构成了巨大的挑战。与此形成鲜明对比的是雅达利游戏,大概只有10种选择(例如,下,左,右等)。除此之外,星际争霸中的很多操作是分级的,可以进行修改和扩充,其中很多都需要操作屏幕上的一个点进行。即使一个小84X84的屏幕也会产生大约1亿种可能的行动选择。

之前发布的PySC2可以帮助研究人员利用暴雪自己的工具来解决这些挑战,并且构建自己的任务和模型。

PySC2环境提供了一个灵活的,易于使用的RL代理游戏界面。在最初的版本中,游戏被分解为‘特征层’,其中的游戏元素,如单元类型、单位的健康度和地图的可见性彼此隔离,同时保留游戏的核心视觉和空间元素。

之前发布的PySC2还包括一系列的迷你游戏,一种将游戏分解成小模块的技术,可以用来测试特定任务的代理,比如移动视角、收集矿物碎片或选择单位。DeepMind希望研究人员可以测试他们的技术,并且开发新的迷你游戏,以供其他研究人员进行使用和评估。

简单的RL迷你游戏可以让研究者测试代理在一些特定任务上的表现

训练过和未训练过的代理在玩迷你游戏

从棋牌游戏到实时对战,AI不断挑战自己

1997年,国际象棋AI第一次打败顶尖的人类;2006年,人类最后一次打败顶尖的国际象棋AI。

在2016年年底,一个名为“Master”的神秘在线围棋玩家出现在了热门的亚洲游戏服务器Tygem上。在接下来的几天里,这个神秘的玩家横扫世界范围内的许多一流玩家。

2017年5月,AlphaGo“Master”在对战世界排名最高的围棋选手柯洁中屡屡得分。在三场比赛中,人工智能稳操胜券。

2017年12月,DeepMind发布了一个更新版本的系统。这款名为“AlphaZero”的新人工智能可以在短短几个小时内掌握各种游戏。经过仅仅8个小时的自我训练,这个系统不仅能打败AlphaGo Zero的早期版本,而且还可以成为象棋大师和将棋(shogi,又称日本象棋,一种流行于日本的棋盘游戏)的冠军。

在拿到棋牌类的王者之后,人工智能向更复杂的实时对战游戏领域进发。

2018年,OpenAI Five与DOTA2半职业玩家团队交手,比赛结果是2:1,人类输掉了比赛。在2017年,比较原始版本的AI在1v1战斗中就击败了人类职业玩家Dendi。

2018年8月份,人工智能在Ti8赛事中与职业玩家交手,比赛结果是两场比赛,人类玩家守住了DOTA这一高地。其中,第二场与中国玩家交手,在第45分钟的时候,AI直接认输。

2018年9月,腾讯AI Lab发布论文称,他们构建的AI首次在完整的虫族VS虫族比赛中击败了星际2的内置机器人Bot。