[发明专利]视频感兴趣片段截取方法、电子设备和存储介质

权利要求书

1.一种基于神经网络的视频感兴趣片段截取方法，包括：

确定待处理视频的图片序列中的第一特定区域和第二特定区域，所述第一特定区域和第二特定区域在所述待处理视频所包含的所有图片中分别具有固定不变的位置，且第一特定区域不同于第二特定区域；

利用用于检测的第一神经网络，获取待处理视频中的多个目标的多个第一边界框，所述多个目标随着时间具有变化的数量；

响应于在某一帧识别到多个第一边界框中的一个第一边界框首次出现在第一特定区域内，将所述一个第一边界框对应的目标设定为待跟踪的单目标，且将待处理视频的该帧作为第一帧；

利用所识别的一个第一边界框，对用于单目标跟踪的第二神经网络的第二边界框进行初始化且利用初始化的第二边界框在第一帧中跟踪所述单目标；

利用第二神经网络或者利用第一神经网络和第二神经网络两者，在待处理视频的第一帧之后的剩余帧中对所出现的单目标进行跟踪； 以及

在所述剩余帧中，响应于第二神经网络所预测的第二边界框出现在第二特定区域中，结束跟踪且基于跟踪结果，对待处理视频的单目标被跟踪片段进行截取，

其中，利用第二神经网络，在待处理视频的第一帧之后的剩余帧中对所出现的单目标进行跟踪包括：在待处理视频的第一帧之后的剩余帧的每一帧中，通过利用第二神经网络预测单目标的第二边界框，而对所出现的单目标进行跟踪，以及

利用第一神经网络和第二神经网络两者，在待处理视频的第一帧之后的剩余帧中对所出现的单目标进行跟踪包括：

针对当前帧：

利用第一神经网络，获取所述单目标的第一边界框；

利用第二神经网络，获取所述单目标的第二边界框；

将所述单目标的第一边界框与基准框进行比较，以得到第一差值；

将所述单目标的第二边界框与基准框进行比较，以得到第二差值；以及

基于第一差值、第二差值和基准框，获取所述单目标的针对当前帧的跟踪框；以及

基于针对当前帧的跟踪框，对当前帧的所述单目标进行跟踪。

2.根据权利要求1所述的视频感兴趣片段截取方法，其特征在于，第一帧的跟踪框为被初始化的第二边界框，且

所述基准框是当前帧的前一帧的跟踪框。

3.根据权利要求1所述的视频感兴趣片段截取方法，其特征在于，所述基准框为针对当前帧的跟踪框预测框，其中基于前一帧的跟踪框，获取针对当前帧的跟踪框预测框，以及

第一帧的跟踪框为被初始化的第二边界框，且第二帧的跟踪框预测框也设定为被初始化的第二边界框。

4.根据权利要求3所述的视频感兴趣片段截取方法，其特征在于，基于前一帧的跟踪框，获取针对当前帧的跟踪框预测框包括：

针对第二帧：

将被初始化的第二边界框设定为第一帧的跟踪框和第二帧的跟踪框预测框；以及

针对从第三帧开始的每一帧：

计算当前帧之前的两个帧的跟踪框之间的第三差值；以及

对当前帧的前一帧的跟踪框和第三差值进行求和，获取针对当前帧的跟踪框预测框。

5.根据权利要求1所述的视频感兴趣片段截取方法，其特征在于，基于第一差值、第二差值和基准框，获取所述单目标的针对当前帧的跟踪框包括：

响应于第一差值小于阈值且第二差值大于所述阈值，将所述第一边界框设定为所述当前帧的跟踪框；或

响应于第一差值大于所述阈值且第二差值小于所述阈值，将所述第二边界框设定为所述当前帧的跟踪框；或

响应于第一差值大于所述阈值且第二差值大于所述阈值，将基准框设定为所述当前帧的跟踪框；或

响应于第一差值小于所述阈值且第二差值小于所述阈值，对第一边界框和第二边界框进行加权，以得到所述当前帧的跟踪框。

6.根据权利要求1所述的视频感兴趣片段截取方法，其特征在于，利用第一神经网络，获取所述单目标的第一边界框包括：

针对当前帧，利用第一神经网络，获取待处理视频中的多个目标的多个第一边界框；以及

将多个第一边界框与基准框进行比较，获取与基准框最近的第一边界框作为所述单目标的第一边界框。