[发明专利]网络直播主播的行为识别方法、系统、设备及存储介质

权利要求书

1.一种网络直播主播的行为识别方法，其特征在于，包括：

获取网络直播视频数据；

利用时序评估模块检测所述网络直播视频数据中的主播时序动作，以生成第一主播动作序列数据；

利用线性条件随机场推理主播动作序列，以生成第二主播动作序列数据；以及

基于所述第二主播动作序列数据，利用多分类支持向量机进行主播行为识别与概要描述。

2.根据权利要求1所述的网络直播主播的行为识别方法，其特征在于，所述利用时序评估模块检测所述网络直播视频数据中的主播时序动作，以生成第一主播动作序列数据包括：

提取网络直播视频中的深度特征；

对所述深度特征进行时序评估，以生成与主播动作的开始时间与结束时间相对应的多个概率序列；以及

基于所述多个概率序列，生成第一主播动作序列数据。

3.根据权利要求2所述的网络直播主播的行为识别方法，其特征在于，所述利用线性条件随机场推理主播动作序列，以生成第二主播动作序列数据包括：

利用线性条件随机场对主播动作序列进行建模，根据所述第一主播动作序列数据中前后动作间的逻辑关系，推理出更为合理的所述第二主播动作序列数据动作序列。

4.根据权利要求3所述的网络直播主播的行为识别方法，其特征在于，所述基于所述第二主播动作序列数据，利用多分类支持向量机进行主播行为识别与概要描述包括：

收集所述网络直播视频的主播行为数据以构建数据集；

选择所述网络直播视频中多种主播行为作为识别目标；

利用多分类支持向量机实现主播动作序列的建模，经过主播动作序列到主播行为语义之间的映射，获得主播行为识别结果；以及

抽取所述第二主播动作序列数据中的关键动作进行主播行为概要描述。

5.根据权利要求2所述的网络直播主播的行为识别方法，其特征在于，所述提取所述网络直播视频中的深度特征包括：

通过双流卷积网络提取所述网络直播视频中的空间特征与时间特征，并将所述空间特征与所述时间特征融合为全局时空特征。

6.根据权利要求5所述的网络直播主播的行为识别方法，其特征在于，所述对所述深度特征进行时序评估，以生成与主播动作的开始时间与结束时间相对应的多个概率序列包括：

通过时序卷积层对所述全局时空特征进行时序评估，并通过sigmoid激活函数分别生成所述主播动作的开始时间概率序列和结束时间概率序列。

7.根据权利要求6所述的网络直播主播的行为识别方法，其特征在于，所述基于所述多个概率序列，生成第一主播动作序列数据包括：

基于所述开始时间概率序列和所述结束时间概率序列，生成候选时序动作提名；

利用softmax层实现动作的分类得到所述主播时序动作的检测结果；以及

基于多个所述主播时序动作的所述检测结果，生成所述第一主播动作序列数据。

8.一种网络直播主播的行为识别系统，包括：

获取模块，用于获取网络直播视频数据；

时序评估模块，用于检测所述网络直播视频数据中的主播时序动作，以生成第一主播动作序列数据；

主播动作序列推理模块，用于利用线性条件随机场推理主播动作序列，以生成第二主播动作序列数据；以及

行为识别与概要描述模块，用于基于所述第二主播动作序列数据，利用多分类支持向量机进行主播行为识别与概要描述。

9.一种设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的网络直播主播的行为识别方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的网络直播主播的行为识别方法的步骤。