[发明专利]一种基于音视频识别的智能显示方法及其装置

权利要求书

1.一种基于音视频识别的智能显示方法，其特征在于，包括如下步骤：

采集图像数据与音频数据；

从图像数据中识别出图像目标及其在图像数据中的位置坐标；

根据位置坐标识别图像目标所属的局部动作；

从音频数据中识别出音频目标以及音频目标所属的局部音频；

匹配局部动作与局部音频；

若匹配成功，则根据位置坐标在图像数据中添加标记符号；

显示带有标记符号的图像数据。

2.根据权利要求1所述的方法，其特征在于，还包括：

建立预设有多个控制释义的音频解释库；

对应控制释义于图像数据或者显示属性；

识别出局部音频中的控制释义；

根据局部音频中的控制释义改变图像数据的控制释义；

或，根据局部音频中的控制释义改变显示属性的控制释义。

3.根据权利要求1所述的方法，其特征在于，还包括：

建立预设有多个控制释义的音频解释库，以及预设有多个与控制释义一一对应的动作释义的显示解释库；

对应控制释义于图像数据；

对应动作释义于图像数据；

识别出局部音频中的控制释义；

根据局部音频中的控制释义在图像数据中添加与图像数据对应的动作释义。

4.根据权利要求1所述的方法，其特征在于，还包括：

图像目标为多个；

识别与其中一种图像目标对应的一种音频目标；

并列显示多个图像数据。

5.根据权利要求2或3所述的方法，其特征在于，还包括：

根据局部音频中的控制释义改变所有图像数据的控制释义。

6.一种基于音视频识别的智能显示装置，其特征在于，基于显示屏（1）、显示屏（1）数据连接有控制中心模块（2）、分别与控制中心模块（2）数据连接的图像识别模块（3）以及音频识别模块（4），图像识别模块（3）用于采集并分析图像，音频识别模块（4）用于采集并分析音频，控制中心模块（2）用于接收图像以及分析结果，并将图像与分析结果显示于显示屏（1）；

图像识别模块（3）采集出图像数据并将图像数据发送至控制中心模块（2），音频识别模块（4）可采集出音频数据并将音频数据发送至控制中心模块（2）；

还包括：

图像识别模块（3）包括摄像头（31）以及与摄像头（31）数据连接的识别处理器（32），摄像头（31）用于采集图像数据，识别处理器（32）用于接收图像数据并从图像数据中识别出图像目标及其在图像数据中的位置坐标；

音频识别模块（4）包括音频采集器（41）以及与音频采集器（41）数据连接的分析处理器（42），音频采集器（41）用于采集音频数据，分析处理器（42）用于接收音频数据并从音频数据中识别出音频目标以及音频目标所属的局部音频；

控制中心模块（2）包括与识别处理器（32）以及分析处理器（42）数据连接的中心处理器（21），中心处理器（21）数据连接有显示处理器（22），显示处理器（22）与显示屏（1）数据连接，中心处理器（21）接收识别处理器（32）以及分析处理器（42）的数据，并通过显示处理器（22）驱动显示屏（1）显示出来；

中心处理器（21）中包括有匹配数据组件（211），匹配数据组件（211）用于匹配局部动作与局部音频，若匹配成功，则向识别处理器（32）发送内容为根据位置坐标在图像数据中添加标记符号的标记信号；

识别处理器（32）接收标记信号，根据标记信号按照预先设定好的指令修改并更新图像数据，识别处理器（32）向中心处理器（21）发送图像数据。