[发明专利]虚拟环境中的虚拟对象的调度方法、装置及设备

说明书

本申请公开了一种虚拟环境中的虚拟对象的调度方法、装置及设备，属于计算机技术领域。所述方法包括：获取虚拟环境的应用程序在运行时产生的帧数据；对帧数据进行特征提取得到目标虚拟对象的状态特征；对状态特征进行推演，得到N种后续状态特征；调用价值网络预测模型对N种后续状态特征进行处理，得到执行N种调度策略的预期回报收益；控制目标虚拟对象执行预期回报收益最高的调度策略。本申请通过提取得到当前局面状态的状态特征，实现了对虚拟环境中的局面状态的离散化和抽样化处理，从而在状态特征的基础上结合N种调度策略得到N种后续状态特征，进而评估后续状态特征，实现了对虚拟环境的局面状态的推演，提高了AI确定调度策略的准确度。

技术领域

本申请涉及计算机技术领域，特别涉及一种虚拟环境中的虚拟对象的调度方法、装置及设备。

背景技术

人工智能(Artificial Intelligence，AI)是一种以人类思考方式做出反应，执行相应行为的计算机程序系统，其广泛应用于图像识别、语音识别、自然语言处理以及专家系统等领域。其中，专家系统是一种模拟人类专家解决领域问题的AI，例如，模拟围棋棋手下围棋的AI阿尔法围棋(Alphago)。

推演法是Alphago的核心算法，其根据所有可执行的后续落子行为对围棋的当前局面状态进行模拟推演直至一局结束，从而得到每种后续落子行为最终的胜负概率，进而准确地确定最优的落子策略。由于围棋可以采用19×19的二维空间来进行表示，因此围棋的局面状态是一种离散有限状态，同时一局围棋平均约150个回合，局面状态之间的转化可以根据落子行为唯一确定，因此基于离散的状态空间和行为空间，以及有限的回合数能够实现对围棋的局面状态的推演。

在诸如智能手机、平板电脑之类的终端上，存在很多具有二维或三维虚拟环境的应用程序，如：多人在线战术竞技游戏(Multiplayer Online Battle Arena Games，MOBA)、模拟策略游戏(Simulation Game，SLG)等。在上述应用程序中，用户可通过控制虚拟对象(例如：虚拟人物)执行调度策略以期获得胜利，当用户因故无法控制虚拟对象时，需要依赖AI辅助用户执行相应的调度策略。在AI执行调度策略之前，需要对当前局面状态进行推演，从而确定最优的调度策略。

虚拟环境中的局面状态空间远大于围棋，且虚拟对象的可执行行为具有连续性和多样性，比如MOBA游戏中地图大小约50000×50000像素，包括60多种不同类型的可操作单位，每个可操作单位具有连续性和多样性，因此AI难以对虚拟环境的局面状态进行推演，从而导致AI确定调度策略的准确度较低。

发明内容

本申请实施例提供了一种虚拟环境中的虚拟对象的调度方法、装置及设备，用以解决相关技术中由于AI难以对虚拟环境的局面状态进行推演，从而导致AI确定调度策略的准确度较低问题。所述技术方案如下：

一方面，本申请实施例提供了一种虚拟环境中的虚拟对象的调度方法，所述虚拟环境中包括至少两个虚拟对象以及供所述虚拟对象使用的虚拟资源，所述方法包括：

获取所述虚拟环境的应用程序在运行时产生的帧数据；

对所述帧数据进行特征提取得到目标虚拟对象在当前局面状态的状态特征，所述状态特征包括关联虚拟对象和所述虚拟资源的状态，所述关联虚拟对象包括所述目标虚拟对象以及与所述目标虚拟对象具有利益关系的虚拟对象；

根据对所述状态特征进行推演，得到N种后续状态特征，N为正整数，N≥2；

调用价值网络预测模型对所述N种后续状态特征进行处理，得到所述目标虚拟对象执行所述N种调度策略的预期回报收益；

控制所述目标虚拟对象执行所述N种调度策略中预期回报收益最高的调度策略。

一方面，本申请实施例提供了一种虚拟环境中的虚拟对象的调度装置，所述虚拟环境中包括至少两个虚拟对象以及供所述虚拟对象使用的虚拟资源，所述装置包括：