[发明专利]网络直播主播的行为识别方法、系统、设备及存储介质

说明书

本发明提供一种网络直播主播的行为识别方法、系统、设备及存储介质。该网络直播主播的行为识别方法包括：获取网络直播视频数据；利用时序评估模块检测网络直播视频数据中的主播时序动作，以生成第一主播动作序列数据；利用线性条件随机场推理主播动作序列，以生成第二主播动作序列数据；以及基于第二主播动作序列数据，利用多分类支持向量机进行主播行为识别与概要描述。

技术领域

本发明涉及网络直播技术领域，尤其涉及一种网络直播主播的行为识别方法、系统、设备及存储介质。

背景技术

随着自媒体时代的到来，网络视频直播已成为互联网用户日常生活中炙手可热的娱乐方式。据中国互联网信息中心发布的第47次《中国互联网络发展状况统计报告》披露，截至2020年12月，我国网络直播用户规模达到6.17亿，占网民整体的62.4％。网络视频直播采用“以主播带动观众”的推广模式，与传统媒体主播相比，网络主播类型多变、表现形式多样、直播内容丰富，特别是某些主播为盈利和积累人气，将不良行为夹杂在直播内容中，给网络生态环境带来了极大的危害。因此亟需针对当前网络直播视频的具体特点和需求，采用智能化的分析技术对主播行为加以鉴别和监管。

传统的人体行为识别方法主要针对的是只包含单个动作的裁剪视频，因此其识别方法相对简易。

然而，网络直播视频中包含丰富且复杂的主播动作，传统的人体行为识别方法难以对网络直播视频中丰富且复杂的多个动作进行准确的识别与分类。

发明内容

本发明提供一种网络直播主播的行为识别方法、系统、设备及存储介质，旨在克服现有技术中难以对网络直播视频中丰富且复杂的多个动作进行准确的识别与分类的问题，取得较高的识别准确率，并生成可靠的概要描述。因此，将该方法应用于网络直播视频，实现主播行为识别切实可行并具有重要应用价值。

具体地，本发明实施例提供了以下技术方案：

第一方面，本发明的实施例提供一种网络直播主播的行为识别方法，包括：

获取网络直播视频数据；

利用时序评估模块检测所述网络直播视频数据中的主播时序动作，以生成第一主播动作序列数据；

利用线性条件随机场推理主播动作序列，以生成第二主播动作序列数据；以及

基于所述第二主播动作序列数据，利用多分类支持向量机进行主播行为识别与概要描述。

进一步地，该网络直播主播的行为识别方法还包括：

所述利用时序评估模块检测所述网络直播视频数据中的主播时序动作，以生成第一主播动作序列数据包括：

提取网络直播视频中的深度特征；

对所述深度特征进行时序评估，以生成与主播动作的开始时间与结束时间相对应的多个概率序列；以及

基于所述多个概率序列，生成第一主播动作序列数据。

进一步地，该网络直播主播的行为识别方法还包括：

所述利用线性条件随机场推理主播动作序列，以生成第二主播动作序列数据包括：

利用线性条件随机场对主播动作序列进行建模，根据所述第一主播动作序列数据中前后动作间的逻辑关系，推理出更为合理的所述第二主播动作序列数据动作序列。

进一步地，该网络直播主播的行为识别方法还包括：

所述基于所述第二主播动作序列数据，利用多分类支持向量机进行主播行为识别与概要描述包括：

收集所述网络直播视频的主播行为数据以构建数据集；

选择所述网络直播视频中多种主播行为作为识别目标；