[发明专利]一种自定义语音实现屏幕控制的方法

说明书

一种自定义语音实现屏幕控制的方法，包括：1）识别输入的语音并转化为文字；2）对所述文字进行截取关键词；3）对比已有的关键词列表，判断所述截取关键词是否为已有关键词；4）提示无法识别所述截取关键词，返回步骤1）；5）对当前界面进行截图，并对所述截图中的图像进行拆分识别，通过模版识别和文字识别，匹配并记录每个所述图像的位置；6）将输入的语音队列串行执行，依次将每个操作的脚本执行，识别结束语时执行结束操作。本发明的一种自定义语音实现屏幕控制的方法，通过语音的方式即可实现触屏，从而节省用户更多精力并提高用户体验。

技术领域

本发明涉及语音识别技术领域，特别是涉及一种自定义语音实现屏幕控制的方法方法。

背景技术

在目前已有的屏幕控制方式中，或多或少需要人为的去触摸屏幕以获得屏幕事件的反馈，为了更好的辅助用户对移动设备的屏幕控制，一种通过自定义语音来实现屏幕控制的方案应运而生。

本发明旨在设计一种基于Android平台下的语音映射和图像识别技术以实现用户想通过语音助手来控制屏幕的技术和功能，目的是为了让用户可以选择更多更便利的方式来控制设备，极大加强用户在比如棋牌类游戏中的游戏体验，从而衍生出更多的游戏玩法，促进用户对设备的控制。

在目前市场成熟的语音识别和人工智能技术加持下，通过语音实时控制触屏的方案能够正常开展，而且随着技术的日益成熟，以后会衍生出更多语音控制设备的样例。

发明内容

为了解决现有技术存在的不足，本发明的目的在于提供一种自定义语音实现屏幕控制的方法方法，通过语音的方式即可实现触屏，从而节省用户更多精力并提高用户体验。

为实现上述目的，本发明提供的一种自定义语音实现屏幕控制的方法，包括：

1）识别输入的语音并转化为文字；

2）对所述文字进行截取关键词；

3）对比已有的关键词列表，判断所述截取关键词是否为已有关键词；

4）提示无法识别所述截取关键词，返回步骤1）；

5）对当前界面进行截图，并对所述截图中的图像进行拆分识别，通过模版识别和文字识别，匹配并记录每个所述图像的位置；

6）将输入的语音队列串行执行，依次将每个操作的脚本执行，识别结束语时执行结束操作。

进一步地，还包括，持续录制屏幕和后台语音助手监听语音。

进一步地，还包括，提供模版化操作脚本，输入记录的自定义关键词作为语音接收的截取关键词。

进一步地，所述模版化操作脚本包括记录当前屏幕位置x、y的点击，滑动以及长按的触屏操作，并将操作数据转化为json格式。

进一步地，建立语音与模版化操作数据的映射关系，将所述映射关系和所述操作脚本全局存储，识别输入的语音关键词后执行对应的操作脚本逻辑。

进一步地，采集声纹作为唯一标识，只识别已采集声纹的语音并执行。

进一步地，所述步骤6）进一步包括，

重新录屏识别当前图像；

重新计算所述当前图像的位置与所述截取关键词的映射关系并以sendEvent的方式执行操作脚本。

进一步地，还包括，

本地加载云端的图像识别模板和识别关键词；

本地生成符合终端后台通信协议的集合来进行加载；

将本地映射关系上传到服务器进行保存；

请求获取上传的映射关系信息，加载对应的集合至本地；