[发明专利]一种自定义语音实现屏幕控制的方法在审
申请号: | 201910680164.6 | 申请日: | 2019-07-26 |
公开(公告)号: | CN110428832A | 公开(公告)日: | 2019-11-08 |
发明(设计)人: | 陈浩波 | 申请(专利权)人: | 苏州蜗牛数字科技股份有限公司 |
主分类号: | G10L15/22 | 分类号: | G10L15/22;G06F3/0488 |
代理公司: | 北京德崇智捷知识产权代理有限公司 11467 | 代理人: | 王金双 |
地址: | 215000 江苏省苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语音 屏幕控制 自定义 截取 图像 串行执行 脚本执行 文字识别 用户体验 语音队列 触屏 模版 匹配 提示 返回 记录 转化 | ||
1.一种自定义语音实现屏幕控制的方法,其特征在于,包括:
1)识别输入的语音并转化为文字;
2)对所述文字进行截取关键词;
3)对比已有的关键词列表,判断所述截取关键词是否为已有关键词;
4)提示无法识别所述截取关键词,返回步骤1);
5)对当前界面进行截图,并对所述截图中的图像进行拆分识别,通过模版识别和文字识别,匹配并记录每个所述图像的位置;
6)将输入的语音队列串行执行,依次将每个操作的脚本执行,识别结束语时执行结束操作。
2.根据权利要求1所述的方法,其特征在于,还包括,持续录制屏幕和后台语音助手监听语音。
3.根据权利要求1所述的方法,其特征在于,还包括,提供模版化操作脚本,输入记录的自定义关键词作为语音接收的截取关键词。
4.根据权利要求3所述的方法,其特征在于,所述模版化操作脚本包括记录当前屏幕位置x、y的点击,滑动以及长按的触屏操作,并将操作数据转化为json格式。
5.根据权利要求3所述的方法,其特征在于,还包括,建立语音与模版化操作数据的映射关系,将所述映射关系和所述操作脚本全局存储,识别输入的语音关键词后执行对应的操作脚本逻辑。
6.根据权利要求1所述的方法,其特征在于,采集声纹作为唯一标识,只识别已采集声纹的语音并执行。
7.根据权利要求1所述的方法,其特征在于,所述步骤6)进一步包括,
重新录屏识别当前图像;
重新计算所述当前图像的位置与所述截取关键词的映射关系并以sendEvent的方式执行操作脚本。
8.根据权利要求1所述的方法,其特征在于,还包括,
本地加载云端的图像识别模板和识别关键词;
本地生成符合终端后台通信协议的集合来进行加载;
将本地映射关系上传到服务器进行保存;
请求获取上传的映射关系信息,加载对应的集合至本地;
测试映射关系是否可行并支持本地映射关系的修改和导出。
9.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述计算机指令运行时执行权利要求1至9任一项所述的自定义语音实现屏幕控制的方法步骤。
10.一种控制设备,其特征在于,包括存储器和处理器,所述存储器上储存有在所述处理器上运行的计算机指令,所述处理器运行所述计算机指令时执行权利要求1至8任一项所述的自定义语音实现屏幕控制步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州蜗牛数字科技股份有限公司,未经苏州蜗牛数字科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910680164.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种语音助手多场景交互方法
- 下一篇:一种用于无人驾驶的智能语音交互系统