[发明专利]行为类别检测方法、装置、电子设备和计算机可读介质

说明书

本申请实施例公开了行为类别检测方法、装置、电子设备和计算机可读介质。所述方法的实施例包括：基于目标视频的关键帧，将该目标视频切分为多个视频片段；对切分成的视频片段进行预处理，生成各视频片段的解码数据；将各视频片段的解码数据输入至预先训练的行为类别检测模型，得到各视频片段对应的行为类别检测结果；对所得到的行为类别检测结果进行整合，生成该目标视频中的人体对象的行为类别序列。该实施方式提高了对视频帧中人体对象的行为类别的检测的准确性。

技术领域

本申请实施例涉及计算机技术领域，具体涉及行为类别检测方法、装置、电子设备和计算机可读介质。

背景技术

视频理解作为自动化分析、处理视频的前提和手段，在视频推荐、抽取精彩片段、视频打标签等方面具有重要的价值和意义。例如，在影视剧等视频中，重要的行为动作往往是对视频内容情节分析的关键。因此，对视频中的帧进行人体行为类别的检测，能够为视频分析提供支持。

相关的方式，通常是将视频均匀切分成视频片段，再逐段对视频中的人体对象的行为类别进行检测。然而，这种方式无法有效控制视频片段中的镜头数量，由于不同的镜头通常记录不同的类别的行为，因而，这种方式导致对视频片段中的人体对象的行为类别检测不够准确。

发明内容

本申请实施例提出了行为类别检测方法、装置、电子设备和计算机可读介质，以解决现有技术中在对视频中的人体对象进行行为类别检测时，由于采用均匀切分方式对视频切分，导致行为类别检测不够准确的技术问题。

第一方面，本申请实施例提供了一种行为类别检测方法，该方法包括：基于目标视频的关键帧，将目标视频切分为多个视频片段；对多个视频片段进行预处理，生成各视频片段的解码数据；将各视频片段的解码数据输入至预先训练的行为类别检测模型，得到各视频片段对应的行为类别检测结果，其中，行为类别检测模型用于检测视频中的人体对象的行为类别；对所得到的行为类别检测结果进行整合，生成目标视频中的人体对象的行为类别序列。

在一些实施例中，基于目标视频的关键帧，将目标视频切分为多个视频片段，包括：确定目标视频的关键帧，并记录关键帧的时间戳；在所记录的至少一个时间戳处对目标视频进行切分，生成多个视频片段，其中，各视频片段的时长在预设时长范围内。

在一些实施例中，对多个视频片段进行预处理，生成各视频片段的解码数据，包括：调用预先编译的动态链接库，利用动态链接库对多个视频片段进行预处理，生成各视频片段的解码数据，其中，动态链接库使用能够应用于底层开发的指定计算机编程语言编译。

在一些实施例中，动态链接库通过如下步骤生成该片段的解码数据：分别将各视频片段解码为矩阵序列；对于每一个矩阵序列，按照预设间隔帧数，对该矩阵序列进行抽样，依次将抽取的矩阵汇总为抽样矩阵序列；对于每一个抽样矩阵序列，将该抽样矩阵序列中的矩阵均分为多组，对各组中的矩阵中的目标区域进行截取，生成与该抽样矩阵序列对应的截取矩阵序列，以及，依次对截取矩阵序列中的矩阵进行数值处理，输出浮点类型的矩阵序列，作为解码数据。

在一些实施例中，在生成目标视频中的人体对象的行为类别序列之后，该方法还包括：获取与行为类别序列中的行为类别相关联的待推送信息；确定目标视频中待插入待推送信息的位置；根据位置，将待推送信息插入至目标视频中。

在一些实施例中，在生成目标视频中的人体对象的行为类别序列之后，该方法还包括：判断行为类别序列中是否存在目标行为类别；若是，从目标视频中截取目标行为类别的视频片段；向目标用户推送所截取的视频片段。

在一些实施例中，在生成目标视频中的人体对象的行为类别序列之后，该方法还包括：建立用于指示行为类别序列中的行为类别的标签，将标签增量更新至预先建立的标签库。