GG。
随着这两封信的人类喊声，一切都结束了。
OpenAI开发的人工智能团队在5v5 Dota2黑团战中首次击败了人类玩家团队。
这确实是一个里程碑式的事件。
这种可以团战的AI被称为OpenAI Five，它是OpenAI的最新研发成果。
OpenAI Five 完全通过自我对弈来学习玩Dota 2。据说每天的战斗量相当于人类180年。而惊人的硬件消耗也应该是一个记录：256个GPU和128,000个CPU……
人类又陷入全面崩溃了吗？显然，Dota2团战AI想要击败人类一点也不简单。
我们将其分为三个部分以提供最完整的分析。
第1部分：OpenAI 5有多强大？第二部分：现在可以在TI职业队打比赛吗？第3 部分：人工智能的一天，人类180 年的生命开始。
Dota2团战AI有多强？
可能会超出你的预期。我们来详细解释一下。
一场有价值的团战
团战需要综合运用技能、装备、走位，最大限度地对敌方英雄造成伤害，同时避免己方英雄的损失。
来看看实战吧。
这是一波AI保卫高地的战斗。那时候人类队伍的装备和水平都比较高。而五名人类玩家全部聚集在一起，准备强行拆除这座塔。
双方第一次接触时，AI只有一名23级英雄可以战斗。人类队伍的24级巫妖率先发起攻击，使用“阿托斯之杖”将AI的23级巫妖锁定在原地。
随后，AI巫妖对自己释放了“EUL的圣杖”。这个技能可以让自己卷入龙卷风之中，并使其暂时处于无敌状态。通过这一举动，AI的目的是拖住人类队伍，为队友争取追赶的时间。
随后，AI巫妖不断将人类队伍拖向高地，诱导人类玩家信心爆棚。其他AI英雄开始从后面包抄人类队伍。
落后的AI冰女（水晶室女）率先对人类队伍身后的狙击手使用“闪光匕首”，然后使用“冰之禁制”冻结狙击手，然后又使用“黑王杖” ，最后施展“极寒领域”法术召唤冰晶发动轰击。
AI冰女释放的“极寒领域”和AI毒龙（蝰蛇）释放的“幽冥毒”迫使人类队伍散去。因此，AI枪可以在安全距离内发动远程攻击。
在高伤害和人群控制的攻击下，人类火枪手和冰女试图后退，但最终只能被杀死。后来，没有视力的AI冰女使用“冰霜新星”杀死了人类巫妖。
后来，AI冰女不肯放弃，闪现追击最后仅存的人类英雄Necrophos。然而，冻结对手后，AI冰女没有技能可以使用，不得不放弃追击。
最后一波团战，AI以2比4击败人类玩家，成功卫冕。
心计
当遇到无法击败的敌人时，人类英雄躲在树林里试图逃跑，但没有用。即使AI英雄失去了视力，他也会一路追到森林里找到并杀死他。
看到AI剩余的生命值，人类玩家想要追击它，但要小心，因为其他AI英雄会来追他们。人类玩家不仅没能收集到人头，还失去了生命。
特别强调的一点是，AI也学会了“先擒贼先擒王”，不惜使用多重强力招式，只为了保证能击杀敌方等级最高的英雄。
而且，AI英雄会牺牲自己来引诱人类玩家离开高地，以确保其他队员能够成功推塔。
总之，OpenAI五号能团队、能gank，足智多谋、狡猾。
事实上，根据官方的说法，OpenAI 5在选择攻击目标方面已经达到了专业水平，但其补兵能力仍然不足。
去TI打专业选手有戏吗？
在回答这个问题之前，我们首先要澄清一个事实：目前被OpenAI五人击败的对手并不是人类顶尖专家。
双方的战斗大约在两个月前开始。目前，OpenAI Five已经与五支人类队伍进行了比赛：
1.最强OpenAI员工团队：MMR匹配分数2500
2.最强观众队伍：MMR 4000-6000
3、阀门员工团队：MMR 2500-4000
4.业余队：MMR 4200，有团队训练
5.半专业团队：MMR 5500，有团队培训
4 月23 日，OpenAI Five 首次击败了该脚本的基线版本。 5月15日，对阵1队的得分为1,333,601。6月6日，对阵1、2、3队的比赛获胜。
可以看到OpenAI 5一直在进步。这个AI与4队、5队进行了非正式比赛，虽然没能获胜，但在前三场比赛中赢了两场。
与人类玩家相比，OpenAI Five平均每分钟可以执行150-170次操作，平均反应时间为80毫秒，明显快于人类。
但这些都不是决定5v5胜负的关键因素。
OpenAI还总结了OpenAI 5的几个特点：
他多次牺牲自己的优势路（凶恶军团上路，光明军团下路）来压制敌方优势路，迫使战局转移到对方更难防守的一侧。从游戏早期到中期的转变比对手更快。方法：（1）多次成功gank人类玩家（2）在对手聚集之前组队推塔。还有一些非主流的玩法。比如前期给辅助英雄送金钱和经验。 OpenAI Five的优先顺序使其伤害值爬得更快，从而赢得团战等等。然而，如此强大的团队当然不能只与业余人类比赛。
OpenAI表示，他们计划在8月份去DotA 2的顶级赛事TI寻找顶级职业战队进行对决，并且他们还将在7月底与职业战队进行一场直播。
当然，OpenAI 5中的所有英雄还没有全部可用。在与职业选手对战时，双方只能从有限的英雄中进行选择。
到时候会有多少个“有限英雄”还不得而知，但这也说明了一个很重要的问题：OpenAI Five目前的能力还不足以玩人类版的DotA 2。
那么，现在AI玩的DotA 2和人类版本相比做了哪些简化呢？
OpenAI在博客最后列出了DotA的AI版本的局限性：
双方英雄阵容固定：死灵法师、火枪手、毒龙、冰女、巫妖（学名分别是瘟疫法师、矮人狙击手、冥界龙、水晶室女、巫妖）；没有病房；没有肉。山；没有隐形装备；没有召唤单位，没有幻象；部分物品缺失：圣剑、瓶子、恒久之斧、飞鞋、经验书、凝魂之泪；有5个无敌使者（鸡），但不能用来探测或防御；没有扫描。这意味着什么？
有了这些限制，AI玩的DotA就比人类版本简单很多，这也说明这个AI还有一些技能还没有掌握。
比如英雄的选择、阵容的搭配。双方只有5个固定英雄，所以不需要掌握英雄之间的配合和克制，游戏也缺乏很多变化。
AI仍然不知道如何控制视野。 AI玩的版本没有隐身装备，没有插眼操作，也没有扫描，所以双方只能在游戏原本设定的视野内进行战斗。他们无法靠自己的能力改变视野，也不需要侦察。
游戏中，如果不考虑信使，AI控制的单位数量只能是5个，这就是为什么召唤单位和幻象无法出现的原因。
另外，如果没有肉山这个游戏中野区最强大的怪物，就不会有击败肉山可以获得的复活护盾。在职业比赛中，复活护盾带来的满状态复活能力可以说是翻盘利器。
让人类职业玩家玩这样的DotA并没有什么优势；如果让现在的OpenAI五人去玩人类版的DotA，它还没有学到英雄选择、视野控制、偷鸡等技能，学到的东西就少了很多。装备团队也会不知所措。
不过，OpenAI 也表示，这些限制大部分是由于游戏的某些部分尚未集成所致。他们将尽快添加病房、肉山等专业比赛的关键要素。
AI一日，人间180年
尽管还存在各种限制，但不可否认的是，AI的进步仍然快得惊人。
OpenAI的解释是，这个AI通过自我对弈来改进，从随机参数开始，不以人类玩家的方法为指导，也不在人类玩家的方法中搜索。
他们还特别提到，在训练1v1模型时，专门针对格挡士兵的操作设置了奖励。然而，OpenAI 5 模型中没有这样的奖励，但这个新模型仍然学会了自行拦截士兵。
AI每天的训练量相当于玩180年的游戏。可谓是刻苦学习、刻苦练习。人类玩家一生所能完成的训练量还不如半天。
这些每天训练180年的玩家到底是怎样的怪物？
它们是这样的：
不要被结构图吓到。简单来说，每个玩家，也就是每个代理，都是一个有1024个单元的单层LSTM（长短期记忆网络），可以通过Valve的Bot API来观察。当前的游戏状态控制着你的英雄接下来选择的操作以及它被释放到XY 坐标系中的哪个点。
代理可以观察到的信息与人类类似，包括自身、队友和敌人的状态，例如位置、血量、攻击力、护甲、携带的物品、能力等，可能会略有不同，也就是说，智能体可能比人类更能记住过去12 帧的血量、攻击次数和攻击次数等历史信息。
对于智能代理来说，这些信息是一个包含20000个值的列表，而其判断后发出的动作指令是一个包含8个值的列表。
玩家使用扩展版本的近端策略优化（PPO）方法进行训练，这也是OpenAI 当前默认的强化学习训练方法。这些代理的目标是最大化未来奖励的指数衰减总和。
AI玩家在训练过程中消耗的食物数量惊人，需要256个P100 GPU和128,000个CPU核心来承载它们。
将上述5v5 版本与1v1 版本进行对比，有一个可喜的结果：OpenAI Five 所需的CPU 和GPU 算力相比去年击败Dendi 的1v1 版本并没有增加一倍。
训练完五个智能体后，他们如何相互协作？我们不能像人类在遭受勒索时那样互相喊叫，对吗？
答案是，它们之间没有人类可以理解的沟通渠道，而是由一个“团队精神”超参数统一控制。这个超参数的范围在0到1之间，决定了玩家对自己奖励函数和队友平均奖励函数的注意力分布。
留给AI的时间还很多
OpenAI表示，他们计划在7月28日与顶尖选手进行比赛，留给他们整整一个月的时间。 8月，他们将在TI与人类顶级职业选手一较高下。如果这场比赛以AI结束，那么AI还剩下两个月的时间。
按照“世界一日，AI世界180年”的算法，加入肉山、插眼等关键元素后，只要给AI半个月的时间来与之战斗就其本身来说，可以说在它的世界里践行了“数字智能”。千年”。
这场战斗也进行了现场直播，等待与人类观众见面。
传送门
7月28日战斗直播：
https://www.twitch.tv/openai
OpenAI博客的详细解释（包括AI在各种场景中观察到的情况以及可以采取的行动的交互式插图）：
https://blog.openai.com/openai- Five/
LSTM架构大图：
https://d4mucfpksywv.cloudfront.net/research-covers/openai- Five/network-architecture.pdf
聚苯醚：
https://arxiv.org/abs/1707.06347
- 超过-
实习生招聘
标签：
用户评论
哎，看标题就激动了，毕竟DotA2团战一直是我们的痛点。不过，这个解读听起来真的挺专业的，希望能从中学到AI训练的奥秘。
有14位网友表示赞同！
团战是人类智慧的结晶，AI再强也取代不了我们的团队精神。不过，了解AI的局限性也很重要，这样我们才能更好地改进自己的战术。
有12位网友表示赞同！
哇，最完整的解读？我一定要看看！虽然我对AI训练不太懂，但DotA2团战我可是研究了很久的。
有12位网友表示赞同！
团战取胜的关键在于团队配合，AI再强也难比人心。不过，了解AI的技术和局限性，对于我们提高游戏水平还是有帮助的。
有5位网友表示赞同！
标题就让我眼前一亮，DotA2团战一直是我的心头好。希望这篇解读能让我对AI有更深的认识。
有12位网友表示赞同！
AI训练技术听起来好高级，但我觉得它最多就是一个辅助工具。团战还是得靠人类智慧和团队精神。
有10位网友表示赞同！
这个解读听起来很系统，我特别想了解AI在DotA2团战中的具体应用。希望读完能有所收获。
有18位网友表示赞同！
团战是人类智慧的体现，AI再强也取代不了我们的创造力。不过，了解AI的局限性，对我们来说也是一种成长。
有5位网友表示赞同！
标题太吸引人了，DotA2团战和AI训练，这两个话题我都很感兴趣。一定要看看这篇解读。
有20位网友表示赞同！
AI训练技术听起来好复杂，但我对DotA2团战情有独钟。这篇解读如果能让我了解两者的关系，那我就赚大了。
有6位网友表示赞同！
团战是人类智慧的结晶，AI再强大也取代不了。但了解AI的训练技术和局限性，能让我们更好地应对挑战。
有13位网友表示赞同！
DotA2团战一直是我们讨论的热点，这篇解读一定能为我们带来新的视角。期待中...
有14位网友表示赞同！
AI训练技术听起来很有挑战性，但我相信人类的智慧是无穷的。团战胜利，还是得靠我们自己的努力。
有11位网友表示赞同！
这篇解读听起来很有深度，DotA2团战和AI训练的结合，一定会有很多新的发现。
有7位网友表示赞同！
团战是人类智慧的体现，AI训练技术只是辅助。希望这篇解读能让我们更深入地了解两者之间的关系。
有9位网友表示赞同！
标题就让我好奇了，DotA2团战和AI训练，这会是一场怎样的较量？期待看到最完整的解读。
有12位网友表示赞同！
AI训练技术在DotA2团战中能起到什么作用？这篇解读能否解答我的疑问？
有18位网友表示赞同！
团战取胜的关键在于团队配合，AI训练技术或许能帮助我们找到新的战术。这篇解读值得一看。
有18位网友表示赞同！
DotA2团战和AI训练，这两个话题的结合，一定能引发一番讨论。希望这篇解读能为我们带来新的思考。
有17位网友表示赞同！