[发明专利]音视频内容分析方法及装置

说明书

本发明实施例提供一种音视频内容分析方法及装置。其中，方法包括如下的步骤：获取待处理音视频；获取与所述待处理音视频相关的关联用户的属性信息；根据所述关联用户的属性信息，对所述待处理音视频进行内容分析以输出所属类别信息。本发明实施例提供的技术方案，除了基于待处理音视频本身外，还结合与待处理音视频相关的关联用户的属性信息一同来对待处理音视频进行内容审核，其中关联用户的属性信息中包含有大量的可利用和挖掘的与视频内容相关的数据，基于这些数据对视频进行辅助分类，能有效提高审核准确度，且有助于推进视频审核自动化的进程。

技术领域

本发明涉及计算机技术领域，尤其涉及一种音视频内容分析方法及装置。

背景技术

随着直播行业的快速发展，越来越多的人开始作为主播进入直播行业，在不断丰富观众多样化观看需求的同时，也造成直播行业内主播播出的直播内容良莠不齐。

目前，对视频内容的审核还是以人工审核为主，机器审核为辅。人工审核效率低，成本高，审核人员的工作负荷大，有时难以及时发现违规视频。

发明内容

现有技术中，机器审核实质上就是采用视频截图并鉴定的方式。通过在视频直播过程中对实时流进行视频直播截图并生成图片，再使用图像分析系统进行分类。当视频数量较大且超过服务端的承载能力时，一般会通过视频流热度分析、热门主播、观看人数变化等数据进行辅助分类，以缩小视频审核的范围。其中，上述的视频流热度、热门主播、观看人数变化等数据可通过服务端(如CDN服务器，内容分发网络服务器)、日志客户端采集分析得到。在实际应用中，由于视频码率不均匀、违规内容的多样性等原因，单基于上述提到的几种数据对视频进行辅助分类，其准确率低，因此现有技术中还是需要以人工审核为主。

针对现有技术中存在的机器审核准确率低的问题，本发明实施例提供的如下的技术方案，以提高其审核准确性。

于是，在本发明的一个实施例中，提供了一种音视频内容分析方法。该方法包括：获取待处理音视频；获取与所述待处理音视频相关的关联用户的属性信息；根据所述关联用户的属性信息，对所述待处理音视频进行内容分析以输出所属类别信息。由于关联用户的属性信息中包含有大量的可利用和挖掘的与音视频内容相关的数据，基于这些数据来协助视频内容的审核，能有效的提高音视频内容审核的准确度，且有助于推进视频审核自动化的进程。

可选地，所述关联用户的属性信息包含：观众属性信息。相应的，上述获取与所述待处理音视频相关的关联用户的属性信息，包括：获取驻留在观看所述待处理音视频观众周围的设备采集到的针对所述观众的第一音视频；和/或从第三方服务平台、为所述待处理音视频提供播放平台的应用客户端和/或应用服务端，获取观看所述待处理音视频观众的用户信息；根据所述第一音视频和/或所述观众的用户信息，确定所述观众属性信息。本实施例利用了观众侧的一个或多个设备以采集相应的信息进而获知观众的观看反应，使得用于内容分析的辅助数据更加多样，且实时采集的数据更加直接、更具有针对性，有助于提高视频内容审核的准确性。

可选地，上述观众属性信息包括：观看情绪属性、观众所处场景属性和观众画像中的一项或多项；相应的，上述根据所述第一音视频和/或所述观众的用户信息，确定所述观众属性信息，可包括：

对所述第一音视频进行人脸识别以提取第一表情特征；和/或对所述第一音视频进行动作识别以提取第一动作特征；和/或对所述第一音视频进行语音识别以提取第一语音特征；根据所述第一表情特征、所述第一动作特征和/或所述第一语音特征，确定所述观看情绪属性；

和/或

对所述第一音视频进行环境识别以得到所述观众所处场景属性；

和/或

将所述观众的用户信息作为用户画像构建模型的输入，得到所述观众画像。