逼抢凶狠、擅长中场突破、短传行云流水,几乎毫无破绽……
去年12月,谷歌联手英超曼城在Kaggle平台上,举办了首届“AI足球世界杯”,吸引了1138个团队角逐比拼。其中,网易伏羲强化学习团队表现出色,斩获亚军;其接近专业教练的AI战术布局能力,让主办方看到了“AI+足球”的巨大潜力。
近日,网易伏羲受邀与英超曼城俱乐部、谷歌、Kaggle等行业高管深入交流,分享了比赛中采用的技术框架和训练方法,共同探讨了AI技术在足球领域的应用方向。
(网易伏羲强化学习团队(蓝队)在决赛中率先破门得分)
(本次比赛竞争激烈,吸引全球1138个团队参赛)
据了解,本次比赛在 Google Research Football 强化学习环境下进行,参赛团队可以在11个智能体中控制1个单独智能体。比赛涉及大量复杂的团队协作和战术变化;同时,也考验各个团队解决强化学习中几大极具挑战性问题的能力,例如长时决策(Long Time Horizon)、稀疏奖励(Sparse Reward)、多智能体(Multi-Agent)等。
沟通会上,主办方认为,网易伏羲AI采用的战术已经“非常接近”专业教练的打法,具备在虚拟环境中,模拟真实足球比赛战术的能力。同时,网易伏羲的“AI球员”还踢出了自己的风格:中场快速突破,短传配合进攻,最终进球得分。
(网易伏羲的短传组合)
网易伏羲AI“定位球”的专业打法,也让主办方印象深刻。曼城俱乐部母公司、城市足球集团数据洞察和决策技术总监Brian Prestidge坦言,网易伏羲AI所采用的“定位球”策略,与现实比赛中专业教练的“定位球”战术非常相似。
AI如同真人专业球队,不仅储备了擅长的“定位球”打法,还能根据场上的变化,灵活调整后续战术配合。例如,发边线球时,AI则会根据场上态势判断,自主选择保守或激进的打法。
据网易伏羲方面介绍,强化学习团队在本次比赛采用多头向量输入模型,主要通过玩家对战环境(PVE)与自博弈(Self-Play)相结合的训练方式,让AI从0到1学会踢球。赛程中,团队通过Surgery、模仿学习、课程学习等方式,帮助AI不断扩充状态特征和动作,学会对手的打法并予以反制,以及尝试不同的初始站位来丰富开局变化。
此外,网易伏羲还采用了自主研发的RLEase强化学习框架训练AI。该框架集成了主流强化学习算法,简化了环境接入流程,大幅降低强化学习的门槛。该框架还提供了标准接口,添加新算法时,只需要完成标准接口的实现即可,无需人工重复开发分布式等相关功能,这也使得游戏中试验新算法变得更容易。
(网易伏羲自主研发的RLEase强化学习框架)
“足球赛场极其复杂,球员要面对很多挑战,但更困难的是从中学习规律。人们一般通过失败来学习成长,但球场却很难容忍失败。”Brian Prestidge对“AI足球世界杯”寄予厚望,他认为,谷歌创造的虚拟环境是一个绝佳的试验场所,球队可以在其中测试战术概念、完善训练方法,让教练更有信心地开展自己的职业生涯。
(曼城母公司高管对“AI足球世界杯”寄予厚望)
未来,随着技术发展,AI有望更加深刻地改变足球行业。例如,AI可以辅助训练球员、提升战绩;为教练出谋划策、提供战术支持;甚至还能帮助管理层更好地经营球队。
绿茵赛场外,网易伏羲在本次比赛中使用的强化学习技术,也已在多款网易自研游戏中应用落地。例如,《逆水寒》流派竞武场景中,玩家可以挑战比自己高排名的玩家,如果被挑战者不在线,AI就能代替玩家出战。借助强化学习技术,AI不仅能打出高水平,还能“自我调节”难度,用变化多端的打法,让玩家体验与“真人高手”对抗一般的乐趣。
(《逆水寒》流派竞武场景)
在《潮人篮球》3V3场景中,AI不仅学会了传球、投篮等基础动作,还学会了挡拆、协防、突破等众多高级配合打法。
(《潮人篮球》3V3场景)
网易伏羲成立于2017年,是国内专业从事游戏、文娱产业AI研究和应用的顶尖机构,研究方向包括强化学习、图像动画、自然语言、虚拟人、用户画像、大数据平台、云计算平台、云游戏等领域。在为网易众多产品提供高质量和前沿AI技术的同时,网易伏羲正在进一步把AI技术和产品开放给更多合作伙伴,推动行业加速发展。
特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。