[发明专利]一种应用操作方法及其设备、存储介质、终端

说明书

本发明实施例公开一种应用操作方法及其设备、存储介质、终端，其中方法包括如下步骤：基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；提取所述识别信息中的关键字信息，并基于机器学习生成的信息识别库获取与所述关键字信息相匹配的意图识别结果；当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。采用本发明，可以丰富辅助应用可实现的功能，提升辅助应用的交互性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种应用操作方法及其设备、存储介质、终端。

背景技术

随着计算机技术不断的开发和完善，用户可以在手机和平板电脑等终端中下载并安装各式各样的应用以满足不同的使用功能，例如：游戏应用对应的游戏功能、闹钟应用对应的提醒功能等。

终端应用通常都是针对某一种应用功能的实现，以终端中的虚拟机器人的辅助应用为例，现有的辅助应用仅仅只能实现对终端中的一些管理功能，例如：对桌面应用的整理、对后台进程进行清理等，其所能实现的功能过于单一，且不存在与用户间的任何交互行为，降低了辅助应用的交互性。

发明内容

本发明实施例提供一种应用操作方法及其设备、存储介质、终端，可以丰富辅助应用可实现的功能，提升辅助应用的交互性。

本发明实施例一方面提供了一种应用操作方法，可包括：

基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；

提取所述识别信息中的关键字信息，并基于机器学习生成的信息识别库获取与所述关键字信息相匹配的意图识别结果；

当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。

本发明实施例另一方面提供了一种应用操作设备，可包括：

信息获取单元，用于基于辅助应用界面采集针对人物元素的用户操作指令，并对所述用户操作指令进行识别处理以获取所述用户操作指令对应的识别信息；

结果获取单元，用于提取所述识别信息中的关键字信息，并基于机器学习生成的语义识别库获取与所述关键字信息相匹配的意图识别结果；

意图执行单元，用于当所述意图识别结果为互动意图结果时，获取与所述互动意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息。

其中，还包括：

界面显示单元，用于在桌面界面中监听对辅助应用的触发操作，并在监听到所述触发操作后显示所述辅助应用对应的辅助应用界面；

其中，所述触发操作包括物理按键触发操作、语音输入触发操作和人脸识别触发操作中的至少一种操作。

其中，还包括：

应用配置单元，用于基于辅助应用界面获取所输入的用户个人信息，并根据所述用户个人信息配置所述辅助应用界面的元素以及所述元素对应的辅助模式；

所述元素包括人物元素、背景元素以及按钮元素，所述辅助模式包括提示模式、人物声线模式、元素动态变化模式、按钮形态模式中的至少一种模式。

其中，所述互动意图结果包括触摸意图结果和闲聊意图结果；

所述意图执行单元具体用于：

当所述意图识别结果为触摸意图结果时，基于所述触摸意图结果所指示的在所述辅助应用界面的触摸位置以及触摸操作类型，获取与所述触摸意图结果相匹配的反馈多媒体信息，并控制所述人物元素输出所述反馈多媒体信息；