[发明专利]基于图像识别的语音中控方法及装置

说明书

本发明公开一种基于图像识别的语音中控方法及装置，其中，所述方法包括：截取当前显示界面以得到待识别图像，并识别出所述待识别图像中所包含的多个控件的信息；接收服务器基于对用户语音指令进行分析所生成的中控指令；根据所述多个控件的信息确定对应于所述中控指令的控件为目标控件；调用系统的辅助服务功能实现对所述目标控件的模拟点击。本发明简化了对第三方应用的语音控制方法，不需要一一适配每一个第三方程序，对于所有安装在设备上能启动能展示出来的应用界面都能控制；不需要第三方程序提供接口，只要是在设备界面上显示出来有文字或图像可识别的控件即可实现中控控制；也不需要对第三方应用程序进行对接调试即可实现语音控制。

技术领域

本发明涉及语音控制技术领域，尤其涉及一种基于图像识别的语音中控方法及装置。

背景技术

当前市面上的安卓软件语音中控方案，其实现方案大致如下：前端麦克风接收到语音信号，送到服务端处理，识别出对应的中控指令，下发中控指令到客户端，客户端通过第三方程序暴露的接口操控。这是市面上大多数语音助手类产品采用的方式，但存在以下缺点：(1)只有提供接口的第三方程序才能操控。(2)每种程序都要对接调试才能被中控控制。(3)程序接口设计无法满足复杂中控需求。

发明内容

本发明实施例提供一种基于图像识别的语音中控方法及装置，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种基于图像识别的语音中控方法，该方法包括：

截取当前显示界面以得到待识别图像，并识别出所述待识别图像中所包含的多个控件的信息；

接收服务器基于对用户语音指令进行分析所生成的中控指令；

根据所述多个控件的信息确定对应于所述中控指令的控件为目标控件；

调用系统的辅助服务功能实现对所述目标控件的模拟点击。

第二方面，本发明实施例提供一种基于图像识别的语音中控装置，包括：

控件信息识别模块，用于截取当前显示界面以得到待识别图像，并识别出所述待识别图像中所包含的多个控件的信息；

指令接收模块，用于接收服务器基于对用户语音指令进行分析所生成的中控指令；

目标控件确定模块，用于根据所述多个控件的信息确定对应于所述中控指令的控件为目标控件；

功能调用模块，用于调用系统的辅助服务功能实现对所述目标控件的模拟点击。

第三方面，本发明实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项基于图像识别的语音中控方法。

第四方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明上述任一项基于图像识别的语音中控方法。

第五方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项基于图像识别的语音中控方法。

本发明实施例的有益效果在于：免适配，不需要一一适配每一个第三方程序，对于所有安装在设备上能启动能展示出来的应用界面都能控制。高性能，不需要第三方程序提供接口，只要是在设备界面上显示出来有文字或图像可识别的控件即可实现中控控制。也不需要对第三方应用程序进行对接调试即可实现语音控制，简化了对第三方应用程序的语音控制的实现方法，降低了开发成本。

附图说明