---
abstract: 近日，聚焦人工智能+游戏赛道的初创公司超参数科技，首次对外发布其在游戏领域的进展。在西山居研发中的吃鸡类游戏《荣耀之海》里，由超参数科技和西山居合作的3D生存类AI“猎户座α”，通过从零开始的强化学习训练，具备了复杂3D环境感知、物资搜索/使用、作战、团队配合等能力，展现出广阔的应用前景。
content: "![](/static/img/chaocanshu0_19-12-13.png)\n\n近日，聚焦人工智能+游戏赛道的初创公司超参数科技，首次对外发布其在游戏领域的进展。在西山居研发中的吃鸡类游戏《荣耀之海》里，由超参数科技和西山居合作的3D生存类AI“猎户座α”，通过从零开始的强化学习训练，具备了复杂3D环境感知、物资搜索/使用、作战、团队配合等能力，展现出广阔的应用前景。\r\
  \n\n超参数科技成立于2019年初，由原腾讯AI Lab总经理、T4技术专家刘永升创立，已获得、晨兴资本、高榕资本投资的A轮融资。团队成员包括来自腾讯AI Lab和IEG游戏的多位人工智能科学家、技术骨干，以及海内外顶尖院校的精英伙伴。在腾讯期间，刘永升与核心团队主导了围棋AI“绝艺”、王者荣耀AI“绝悟”的研发工作。\r\
  \n\n成立以来，超参数科技主攻深度学习、强化学习、大系统工程等技术领域。通过将AI能力和游戏场景进行深度结合，为棋牌类、休闲类、角色扮演类、开放生存类等不同品类的游戏公司提供人工智能解决方案，帮助游戏厂商提升开发效率、开启全新玩法，在游戏设计、开发、运营等多个环节创造价值。\r\
  \n\n近年来，游戏AI不断发展，星际、Dota2、德州扑克、麻将相继被AI攻克，但仍存在两大问题——即环境的复杂度问题和AI的拟人度问题。\r\n\n基于上述两点，超参数科技判断，具有复杂3D环境、要求多人在线的3D生存类游戏将成为AI的下一大挑战。在西山居研发中的新游戏《荣耀之海》里，超参数科技训练了名为“猎户座α”的AI智能体。目前，“猎户座α”已经具备了复杂3D环境感知、物资搜索/使用、作战、团队配合等全方位的能力。\r\
  \n\n《荣耀之海》是西山居自主研发的新一代多人在线战术竞技游戏。游戏主打时下最火热的“吃鸡”玩法，百名玩家通过海上与陆上的大逃杀决出胜者。作为一款3D游戏，《荣耀之海》的复杂度相比一般2D游戏已经上了一个台阶，而吃鸡类游戏的超大地图、百人同局等要素又进一步增加了技术难度。\r\
  \n\n具体来说，AI需要处理的挑战包括：\r\n\n1）实时性与长期性\r\n\n2）非完美信息\r\n\n3）复杂的状态空间\r\n\n4）复杂的动作空间\r\
  \n\n5）战略与战术\r\n\n6）多人博弈\r\n\n上述这些难点也是导致行为树AI不可能做出复杂、拟人操作的主要原因。\r\n\n超参数科技在本阶段的研究聚焦于一个迷你对局（mini-game）——在230米*230米岛屿上、时限6分钟内、组队2V2，最终存活的一方获胜。除这些限制外，其他游戏元素与完整游戏完全相同。\r\
  \n\n据悉，“猎户座α”采用了深度强化学习方法，从零开始，通过与环境的交互和试错，学会观察世界、执行动作、合作与竞争策略。AI没有使用任何人类玩家的对战数据，完全基于自我对战（self-play）的方式进行学习。\r\
  \n\nAI观测的状态信息包括玩家/物资的实体信息、深度图、雷达图、小地图，以及宏观标量信息。AI的动作输出分为移动方向、水平/俯仰朝向、身体姿态、物资拾取/使用、武器切换、攻击等任务，多个任务可以同时执行，形成巨大的复合动作空间。\r\
  \n\n团队介绍，每个智能体是一个深度神经网络模型，输入状态信息，输出预测的动作指令。“猎户座α”通过Transformer模型处理玩家、物资等实体信息，通过ResNet处理深度图、雷达图、小地图等图像信息，通过MLP模型处理宏观标量信息，之后通过LSTM模型实现记忆能力。为实现多智能体合作，则采用了分布式的策略网络和中心式的价值网络，并引入了策略网络之间的通信机制。\r\
  \n\n![](/static/img/chaocanshu1_19-12-13.jpg)\n\nAI模型结构示意图\r\n\n“猎户座α”的训练在超参数科技自研的通用分布式强化学习引擎Delta上进行。该引擎通过大量弹性CPU资源产生训练数据，通过GPU资源更新神经网络模型参数，并且可以通过监控组件监控AI的训练过程。在该项目中，“猎户座α”训练一天相当于人类玩家打了10万年。该引擎可以部署在任何公有云上，目前已经支持了多款游戏的AI训练。\r\
  \n\n![](/static/img/chaocanshu2_19-12-13.jpg)\n\n分布式强化学习引擎Delta架构示意图\r\n\n目前，“猎户座α”从零开始逐渐学会了在3D环境中生存所需的全方位能力，包括复杂3D环境感知、物资搜索/使用、作战、团队配合等能力，展现出广阔的应用前景。\r\
  \n\n在AI的训练过程中，团队还观测到了许多与人类生存进化过程相似的地方。人类在进化过程中，先学会采集食物补充能量、应对恶劣天气，然后学会各种工具的使用，掌握记忆等高级认知能力，进而学会与族群内同伴分工合作、与其他族群竞争对抗。AI通过多智能体的自我训练的方式，也表现出了类似的进化现象。随着训练局数的增加，AI逐渐涌现出了物资搜集、物资使用、空间感知、认知能力和复杂策略等智能行为。\r\
  \n\n![](/static/img/chaocanshu3_19-12-13.jpg)\n\nAI的进化过程\r\n\n超参数科技表示：“我们有理由相信，AI智能体在其中学到的能力，包括3D环境感知与理解、对复杂环境变化的适应、对不确定性的评估与推理、对各种战略战术的灵活应用，以及多智能体间的竞争与合作等，一定能从虚拟反哺现实，在无人驾驶、智慧城市、医疗等更广泛的领域带来价值。”\r\
  \n\n“正如‘猎户座α’这个名字所代表的，我们希望游戏AI的研究会如同浩瀚宇宙中的明亮星光，指引人类探索光年之外的未知空间，迈向通用人工智能（AGI）的星辰大海。我们期待与更多志同道合的人一起，‘用进化演绎智能，让智能造福人类’。”"
createDate: 2019-12-13 08:56:00+00:00
pic: /static/img/abstract_chaocanshu_19-12-13.png
title: 「超参数科技」首次发布游戏AI进展，打造3D生存类游戏AI“猎户座α”
type: 新技术
...
