[发明专利]音视频内容信息抽取装置和方法

权利要求书

1.一种音视频处理装置，包括：接收播放信号输出传输流的接收 单元；对所述接收单元输出的传输流进行解码的解码单元；接收用户 输入的指定内容的用户接口单元，其特征在于，该音视频处理装置还 包括：提取规定内容的信息提取单元；和存储所述规定内容的信息存 储单元，

所述指定内容包括指定视频内容或指定音频内容的一方，另一方 由预先存储的音视频对照关系表来确定，

所述信息提取单元包括：

音频识别单元，从来自所述解码单元的音频流中识别出指定音频 内容；

视频识别单元，从来自所述解码单元的视频流中识别出指定视频 内容；和

信息匹配单元，接收来自所述音频识别单元的识别结果和所述视 频识别单元的识别结果，对于识别出指定音频内容的音频流和识别出 指定视频内容的视频流，确定音频识别单元的识别结果与所述视频识 别单元的识别结果是否匹配，在二者匹配的情况下，则将与所述指定 视频内容或所述指定音频内容对应的规定内容记录在所述信息存储单 元中。

2.如权利要求1所述的音视频处理装置，其特征在于，

所述指定内容还包括：所述信息提取单元的规定的启动模式，

所述规定的启动模式是指如下模式之一：

(1)所述视频识别单元的启动在所述音频识别单元的识别成功后 进行，此时的视频识别对象是音频识别单元的识别成功时刻前后规定 时间段内的视频流；

(2)所述音频识别单元的启动在所述视频识别单元的识别成功后 进行，此时的音频识别对象是视频识别单元的识别成功时刻前后规定 时间段内的音频流；

(3)所述音频识别单元的启动与所述视频识别单元的启动相互独 立。

3.如权利要求1所述的音视频处理装置，其特征在于，

所述音频识别单元的识别结果与所述视频识别单元的识别结果是 否匹配是指音频识别单元识别出指定音频内容的音频时间戳和所述视 频识别单元识别出指定视频内容的视频时间戳是否匹配，在二者的时 间戳匹配的情况下，则将与该两个时间戳对应的音频信息和视频信息 记录在所述信息存储单元中。

4.如权利要求3所述的音视频处理装置，其特征在于，所述信息 提取单元还包括：

时钟校正单元，所述时钟校正单元确定所述音频时间戳和所述视 频时间戳是否匹配。

5.如权利要求4所述的音视频处理装置，其特征在于，

确定所述音频时间戳和所述视频时间戳是否匹配是指二者所对应 的识别成功时刻的时间差在规定范围内。

6.如权利要求5所述的音视频处理装置，其特征在于，

所述规定范围是指如下范围之一：0以上300毫秒以下；0以上100 毫秒以下；0以上50毫秒以下；0毫秒。

7.如权利要求3所述的音视频处理装置，其特征在于，

将与所述两个时间戳对应的音频信息和视频信息记录在所述信息 存储单元中可以是覆盖记录也可以是追加记录。

8.如权利要求1所述的音视频处理装置，其特征在于，所述音频 识别单元包括：

音频采集单元(21)，该音频采集单元从来自所述解码单元的音频 流中采集音频信号；和

音频关键词提取与匹配单元(24)，将所述音频采集单元所采集的 音频信号与所述指定音频内容进行匹配，以从来自所述解码单元的音 频流中识别出从所述指定内容中的指定音频内容。

9.如权利要求1所述的音视频处理装置，其特征在于，所述视频 识别单元包括：

视频采集单元(22)，该视频采集单元从来自所述解码单元的视频 流中按照规定采样方式采集视频图像；和

图像关键词识别单元，对所述视频采集单元所采集的视频图像进 行检测确认该图像中是否有所述指定视频内容，以从来自所述解码单 元的视频流中识别出从所述指定内容中的指定视频内容。