[发明专利]一种语音、唇语控制装置及控制方法

说明书

技术领域

本发明涉及人机交互领域，尤其涉及一种语音、唇语控制装置及控制方法。

背景技术

人机交互成为现在电子设备的新宠，能更方便的和机器设备进行互动，满足不同情况下的应用需求。小型终端例如手机，电脑，比较流行的是键盘、鼠标和触摸屏；目前的手机也完全采用触摸屏进行人机交互，键盘只是虚拟的键盘，触摸屏包括电阻屏、电容屏、超声波屏、红外触摸屏和光学屏等，但是这些屏无一例外都需要手去操作，不仅如此，随着大尺寸屏的广泛应用，上述触摸屏的成本也随着屏幕的扩大而呈几何级数增长，尤其是电阻屏和电容屏，还不能广泛应用到大尺寸上，而且成本非常高昂。虽然说红外触摸屏在大尺寸屏中较有优势，但是屏幕尺寸过大后，红外发射管的功率需要加大，红外接收管的灵敏度也需要提高，而且屏幕的微小变形都会导致触摸识别能力下降，或者根本识别不了。

发明内容

本发明所要解决的技术问题是提供一种识别效果及生产成本不受显示屏尺寸影响的语音控制装置、唇语控制装置及控制方法。

为解决上述技术问题，本发明提供一种语音控制装置，包括

图像获取及解析单元，用于获取被控装置的视频图像，进行图像识别以获取图像中的菜单及对应坐标，将菜单及对应坐标输出到比对及输出单元；

语音获取及识别单元，获取语音将其解析获得文字或图形并输出到比对及输出单元；

比对及输出单元，将从所述图像获取及解析单元接收到的菜单与从所述语音获取及识别单元接收到的文字或图形进行比对，将匹配的菜单所对应的坐标输出到被控装置，被控装置根据接收的坐标进行操作。

优选地，所述图像获取及解析单元包括图像采集单元、菜单识别及对应坐标产生单元；所述语音获取及识别单元包括声电转换装置、语音信号接收及识别单元；

所述图像采集单元，采集显示的图像，并将所述图像输出到所述菜单识别及对应坐标产生单元；

所述菜单识别及对应坐标产生单元，将接收的图像中的菜单进行识别，同时记录所有菜单和各个菜单所处的图像中的坐标；将所述菜单和对应的坐标发送到所述比对及输出单元；

所述语音信号接收及识别单元，用于接收声电转换装置输出的外部语音信号，进行识别转换成对应的文字或图形，将文字或图形发送到所述比对及输出单元；

所述比对及输出单元，将从所述菜单识别及对应坐标产生单元接收到的菜单与从所述语音信号接收及识别单元接收到的文字或图形进行比对，将比对成功的菜单所对应的坐标输出到被控装置。

优选地，比对及输出单元预存了菜单及对应的虚拟坐标，在进行比对时，也将预存的菜单与从所述语音获取及识别单元接收到的文字或图形进行对比。

优选地，所述语音获取及识别单元包含至少一个远离显示屏的话筒。

优选地，所述语音获取及识别单元直接或间接通过互联网与语音识别服务器连接，发送需要识别的信号到语音识别服务器，收到语音识别服务器反馈的文字或图形之后，将其发送到比对及输出单元。

本发明还提供一种唇语控制装置，包括

图像获取及解析单元，用于获取被控装置的视频图像，进行图像识别以获取图像中的菜单及对应坐标，将菜单及对应坐标输出到比对及输出单元；

唇语获取及识别单元，获取唇语视频将其解析获得文字或图形并输出到比对及输出单元；

比对及输出单元，将从所述图像获取及解析单元接收到的菜单与从所述唇语获取及识别单元接收到的文字或图形进行比对，将匹配的菜单所对应的坐标输出到被控装置，被控装置根据接收的坐标进行操作。

优选地，所述图像获取及解析单元包括图像采集单元、菜单识别及对应坐标产生单元；所述唇语获取及识别单元包括唇语识别单元和摄像单元；

所述图像采集单元，采集显示的图像，并将所述图像输出到所述菜单识别及对应坐标产生单元；

所述菜单识别及对应坐标产生单元，将从所述图像采集单元接收的图像中的菜单进行识别，同时记录所有菜单和各个菜单所处的图像中的坐标，将所述菜单和对应的坐标发送到比对及输出单元；

所述唇语识别单元，从所述摄像单元获取视频图像，解析视频中的唇语，将解析获得的文字或图形发送到比对及输出单元；

所述比对及输出单元，将从所述菜单识别及对应坐标产生单元接收到的菜单与从所述唇语识别单元接收到的文字或图形进行比对，将比对成功的菜单所对应的坐标输出到被控装置。

优选地，比对及输出单元预存了菜单及对应的虚拟坐标，在进行比对时，也将预存的菜单与从所述唇语获取及识别单元接收到的文字或图形进行对比。