[发明专利]基于语音控制终端的方法、装置、存储介质和电子设备

说明书

本公开涉及一种基于语音控制终端的方法、装置、存储介质和电子设备，该方法包括：获取语音指令；获取终端响应于所述语音指令截取的所述终端的显示装置当前所显示的图像；将所述语音指令与所述图像中的字符进行匹配，并确定所述图像中与所述语音指令匹配的目标字符在所述显示装置上的位置信息；根据所述位置信息发送触控指令给所述终端，以控制所述终端模拟对所述位置信息表征的触控区域进行触控操作。用于解决相关技术中，部分肢体残障人士难以通过触控屏幕控制终端的技术问题。

技术领域

本公开涉及控制技术领域，具体地，涉及一种基于语音控制终端的方法、装置、存储介质和电子设备。

背景技术

随着技术的发展，越来越多的终端例如手机，平板电脑等采用触控屏幕实现对终端的控制，通过手指在触控屏幕上执行点击、滑动等操作手势实现不同的触控操作。

相关技术中，由于需要手指与终端的触控屏幕接触才能完成对终端的控制，因此对于部分肢体残障人士，难以通过触控屏幕实现对终端的控制。

发明内容

本公开的目的是提供一种基于语音控制终端的方法、装置、存储介质和电子设备，用于解决相关技术中，部分肢体残障人士难以通过触控屏幕控制终端的技术问题。

为了实现上述目的，本公开实施例的第一方面，提供一种基于语音控制终端的方法，所述方法包括：

获取语音指令；

获取终端响应于所述语音指令截取的所述终端的显示装置当前所显示的图像；

将所述语音指令与所述图像中的字符进行匹配，并确定所述图像中与所述语音指令匹配的目标字符在所述显示装置上的位置信息；

根据所述位置信息发送触控指令给所述终端，以控制所述终端模拟对所述位置信息表征的触控区域进行触控操作。

可选地，所述将所述语音指令与所述图像中的字符进行匹配，包括：

识别所述语音指令以得到所述语音指令中的目标关键词；

识别所述图像以得到所述图像中的目标字符；

基于所述目标关键词与所述目标字符将所述语音指令与所述图像中的字符进行匹配。

可选地，所述识别所述语音指令以得到所述语音指令中的目标关键词，包括：

识别所述语音指令得到对应于该语音指令的文字信息；

基于预设规则从所述文字信息中提取出所述语音指令中的所述目标关键词。

可选地，所述识别所述图像以得到所述图像中的目标字符，包括：

确定所述图像中包含所述目标字符的感兴趣区域；

对所述感兴趣区域进行二值化处理；

于所述二值化处理后的感兴趣区域内确定包含所述目标字符的最小矩形区域；

基于机器学习算法或光学字符识别OCR对所述最小矩形区域进行识别得到所述目标字符。

可选地，所述基于所述目标关键词与所述目标字符将所述语音指令与所述图像中的字符进行匹配，包括：

确定与所述目标关键词满足预设关联规则的目标字符；

确定该目标字符为与该目标关键词所属的语音指令相匹配的字符。

可选地，所述基于所述目标关键词与所述目标字符将所述语音指令与所述图像中的字符进行匹配之前，所述方法还包括：

若本次获取的所述图像与上一次获取的所述终端响应于上一条语音指令截取的所述终端的显示装置所显示的图像相同，不对所述图像进行识别，调用上一次识别图像得到的目标字符用于所述匹配。