近日，OpenAI在其博客上发布了更多关于其OpenAI 5的技术解读，并透露了下一步的目标。文章整理如下（根据意愿有修改）：
OpenAI Five 和DeepMind 的AlphaStar 此前曾私下击败过精英职业选手，但都在现场比赛中落败。这场比赛也是AI首次在直播中击败电竞高手。
本场比赛中，OpenAI Five还展现了两大惊喜：
1. OpenAI Five 掌握了成为人类队友的基本能力，尽管在训练期间只专注于击败其他AI。如果更容易将竞争性人工智能转变为合作性人工智能，那么人工智能系统将在未来对人类有很大帮助。
2. 4 月18 日至21 日，OpenAI 将开放一个专门的竞技场，人类可以与AI 组队，也可以组队对抗AI。本次测试将回答一个重要的研究问题：—— 当前的OpenAI 五人可以在多大程度上帮助队友，或者以其他方式被击败。 OpenAI Five 可能是人类可以有意识地与之交互的最大的深度强化学习超级代理（与OpenAI Five 竞争，网址：https://arena.openai.com/）。
为什么选择 Dota 游戏？
OpenAI Five项目本身就是为了解决现有深度强化学习算法无法解决的问题。为了实现这一目标，OpenAI 5的能力需要大幅提升。 OpenAI原本期待分层强化学习等复杂算法，但后来发现解决这个问题最基本的要求是计算规模。实现和利用这种规模并不容易，这个项目中花费了大量的精力。
为了构建OpenAI Five，OpenAI 创建了一个名为Rapid 的系统，以前所未有的规模运行近端策略优化(PPO)。结果超出了预期，OpenAI 产生了最先进的Dota AI，而没有触及任何基本的性能限制。
当今强化学习算法的强大功能是以大量经验为代价的，这对于游戏或模拟之外的现实环境是不切实际的。然而，这种限制可能并不像听起来那么糟糕。 —— 例如，OpenAI利用Rapid系统模拟控制机械臂灵活避障，在真实环境中的机械臂上也能成功执行。但OpenAI 将减少经验量视为强化学习的下一个挑战。
OpenAI Five 已宣布“退休”，但所取得的进步和技术进步将继续推动未来的工作。 OpenAI 认为，Dota 本质上比目前现有的标准环境更有趣，也更难进行强化学习开发（但不再那么困难）。
上周六OpenAI Five 的胜利与2018 年国际邀请赛的失利相比，有一个重大变化：训练计算量增加了8 倍。
在项目的早期阶段，OpenAI一直在通过增加训练计算规模来推动模型的增强。但自那场比赛以来，OpenAI 已将项目的绝大多数计算资源用于训练单个OpenAI Five 模型。因此，OpenAI 使用了唯一可用的方法来增加计算规模：增加训练时间。
总体而言，当前版本的OpenAI 5 已消耗800 petaflop/s-days（1 petaflop/s 为每秒1015 次浮点运算，1 petaflop/s-days 相当于每天执行1020 次浮点运算）计算规模包括总共训练10个月，模拟Dota比赛约45000年（距离上次国际邀请赛一个半月，总比赛时间约10000年），平均每天模拟比赛250年。与去年的TI 版本相比，OpenAI Five 的最终版本胜率高达99.9%。
尽管模型大小和游戏规则发生了变化（包括一些相当大的游戏补丁更新和新实现的功能），当前版本的OpenAI Five 自2018 年6 月以来一直在持续训练。每次发生变化，OpenAI 都能够将模型迁移到新的环境并继续训练——，这种迁移学习对于其他领域的强化学习模型来说还是很有挑战性的。这应该是强化学习智能体第一次使用如此长的训练时间。
为了使这种迁移顺利进行，OpenAI 利用了一个“手术工具包”（OpenAI 的迁移参数工具），它甚至可以适应主要的架构变化。
此外，当英雄数量从5个增加到18个时，训练速度几乎没有下降。OpenAI假设添加更多英雄不会影响训练速度，并且在2018 Dota International之后，OpenAI投入了大量精力来整合新英雄。
OpenAI花了几周的时间训练了一个英雄池，现已发展到25个英雄，将这些英雄训练到大约5000 MMR（匹配等级，相当于大约95%的Dota玩家）。尽管模型仍在改进，但模型的学习速度还不够快，无法在决赛之前达到专业水平。 OpenAI 还没有找到原因，他们推测模型容量不足或者需要更好地匹配扩大的英雄池，或者新英雄需要更多的训练时间才能赶上老英雄。试想一下，人类在熟练了老英雄之后，再学习新英雄是多么困难！
OpenAI 相信这些问题是可以从根本上解决的。总决赛版本共有17位英雄，与之前的比赛相比，Dota 7.20版本中由于能力发生了较大变化，巫妖被移除。
比赛期间，进行了一场OpenAI Five与人类队伍的比赛。游戏的一侧是Blitz 和Sheever 以及由OpenAI Five 控制的3 个AI，另一侧是ODPixel 和Capitalist 以及3 个AI。
OpenAI Five 与人类协作的能力为人类与未来人工智能系统交互提供了一个充满希望的场景，其中人工智能系统与人类协作并增强人类体验。几位参与人机团队游戏的玩家表示，他们感受到了人工智能队友的支持，他们从这些先进的人工智能系统的游戏中学到了很多东西，而且整个游戏的体验很有趣。
请注意，这相当于零样本迁移学习——。在训练过程中，游戏双方都由AI控制，但可以推广到与人类团队协作的场景中。事实上，OpenAI 考虑举办一场人工智能和人类协作的竞赛，并认为需要为此目的进行特殊培训。
下一步：“竞技场”解密
OpenAI 推出了OpenAI 五个“竞技场”(https://arena.openai.com/)，于太平洋标准时间4 月18 日星期四下午6 点开放，并于太平洋标准时间4 月21 日星期日下午11:59 结束。
作为一项开放实验，任何人都可以以对抗或合作模式与OpenAI Five 进行对抗。 OpenAI 的1v1 机器人可以通过巧妙的策略来利用；但目前尚不清楚OpenAI Five 的情况在多大程度上如此，OpenAI 正在寻求玩家社区的帮助来找出答案。
标签：
用户评论
哇，这个新闻太酷了！我一直想知道AI能不能玩Dota，现在终于解密了。感觉未来游戏体验会大不同。
有11位网友表示赞同！
真的吗？AI能玩Dota？那我的电脑还用不用升级了？哈哈，开个玩笑，这个技术进步太棒了。
有9位网友表示赞同！
我玩Dota这么多年，竟然不知道AI也能参与。这是要和人类玩家一较高下的节奏吗？有点期待了。
有5位网友表示赞同！
OpenAI官方解密，AI玩Dota？感觉像科幻电影里的场景，科技发展太快了，有点跟不上。
有16位网友表示赞同！
AI玩Dota，这个想法好酷，不过我更关心它会不会抢了我的游戏时间。
有12位网友表示赞同！
这个新闻让我想起了AlphaGo，AI在围棋界的突破，现在Dota也加入了这个行列。未来人类真的会被AI超越吗？
有11位网友表示赞同！
不知道AI玩Dota的水平怎么样，如果比我厉害，我就只能靠边站了。哈哈。
有18位网友表示赞同！
我一直觉得AI玩游戏的水平不如人类，这次官方解密让我看到了希望，期待AI在游戏领域的表现。
有7位网友表示赞同！
AI玩Dota，听起来像是打开了新世界的大门。不过，我也担心这会影响到游戏行业的发展。
有20位网友表示赞同！
OpenAI这次解密太给力了，我之前还以为AI只能处理简单游戏呢。现在看来，AI的能力真是无限。
有19位网友表示赞同！
AI玩Dota，这让我想起了小时候玩电脑游戏的时光。那时候，我们做梦都想不到会有今天。
有12位网友表示赞同！
这个技术突破太震撼了，AI不仅在学习，还能娱乐。希望未来能有更多这样的技术出现。
有5位网友表示赞同！
AI玩Dota，那以后我们玩游戏是不是就可以让AI来帮忙了？这样是不是可以轻松上分呢？
有10位网友表示赞同！
我一直觉得AI玩游戏没有灵魂，不过这次官方解密让我看到了AI的潜力，也许我之前的想法太片面了。
有20位网友表示赞同！
OpenAI这次解密让我对AI有了新的认识，也许未来我们真的可以和AI一起享受游戏的乐趣。
有15位网友表示赞同！
Dota作为一款经典游戏，现在有了AI的加入，感觉就像是给了它新的生命。期待AI能带来更多的惊喜。
有15位网友表示赞同！
AI玩Dota，这是要改变游戏界的节奏吗？不过，我还是更喜欢和真人朋友一起玩游戏。
有10位网友表示赞同！
这个新闻让我对AI有了更深的认识，没想到AI的智能已经这么高了。看来我得好好研究一下AI了。
有5位网友表示赞同！
AI玩Dota，感觉像是未来世界已经来临。不过，我也担心这样的技术会不会让人类失业。
有16位网友表示赞同！