[发明专利]视频感兴趣片段截取方法、电子设备和存储介质

说明书

根据本公开的示例实施例，提供了一种基于神经网络的视频感兴趣片段截取方法，包括：确定待处理视频中的第一和第二特定区域，这两个区域分别具有固定不变的且彼此不同的位置；利用用于检测的第一神经网络，获取数量不定的多个目标的多个第一边界框；响应于在某一帧识别到多个第一边界框中的一个第一边界框首次出现在第一特定区域内，将相应的目标设定为待跟踪的单目标，该帧视为第一帧；利用该一个第一边界框对用于单目标跟踪的第二神经网络的第二边界框进行初始化且在第一帧中跟踪单目标；利用第二神经网络或第一和第二神经网络两者，对单目标进行跟踪；响应于第二边界框出现在第二特定区域中，结束跟踪；以及基于跟踪结果，对待处理视频进行截取。

技术领域

本公开的实施例主要涉及基于神经网络的视频感兴趣片段截取方法，并且更具体地，涉及用于基于神经网络的视频感兴趣片段截取方法、电子设备和计算机可读存储介质。

背景技术

在体育行业，教练员和运动员通常需要通过视频来回看自己的运动动作，一般情况下需要在训练场地安装一个摄像头来对体育运动进行采集，这种采集一般是在不中断的情况下自动进行的。但是教练员一般只对进行特定训练的视频片段感兴趣，一般需要教练员手动截取其所感兴趣的片段，或者拖动播放条来选择感兴趣的片段。这种手动操作无疑很麻烦，且不具备可复制性。

此外，在体育场馆中，通常摄像头并非对于一个运动员的训练而安装的，由于训练器材的摆放问题，该摄像头可能对多个运动员的运动进行采集。在所采集的视频中，存在多个运动员，这些运动员的训练服装和动作可能不同，也可能是类似的。在摄像机的视角下，多个运动员的运动视频中可能造成严重遮挡、动作变形大和光照发生变化等一些列问题。

在这种情况下，存在对多个类似运动员中的一个特定运动员进行识别和跟踪的需求，这些类似运动员都进行变形很大的运动，且需要对包括感兴趣动作的视频片段进行截取。

发明内容

为了解决现有技术中的上述问题中的至少一个方面，本发明提出了一种基于神经网络的视频感兴趣片段截取方法，该方法能够通过对待处理视频进行处理，而从待处理视频中自动截取出感兴趣的片段。

根据本公开的第一方面，提供了一种基于神经网络的视频感兴趣片段截取方法，包括：确定待处理视频的图片序列中的第一特定区域和第二特定区域，第一特定区域和第二特定区域在待处理视频所包含的所有图片中分别具有固定不变的位置，且第一特定区域不同于第二特定区域；利用用于检测的第一神经网络，获取待处理视频中的多个目标的多个第一边界框，多个目标随着时间具有变化的数量；响应于在某一帧识别到多个第一边界框中的一个第一边界框首次出现在第一特定区域内，将一个第一边界框对应的目标设定为单目标，且将待处理视频的该帧作为第一帧；利用所识别的一个第一边界框对用于单目标跟踪的第二神经网络的第二边界框进行初始化且利用初始化的第二边界框在第一帧中跟踪单目标；利用第二神经网络或者第一神经网络和第二神经网络两者，在待处理视频的第一帧之后的剩余帧中对所出现的单目标进行跟踪；在剩余帧中，响应于第二神经网络所预测的第二边界框出现在第二特定区域中，结束跟踪且基于跟踪结果，对待处理视频的单目标被跟踪片段进行截取。

在本公开的一些实施例中，利用第二神经网络，在待处理视频的第一帧之后的剩余帧中对所出现的单目标进行跟踪包括：在待处理视频的第一帧之后的剩余帧的每一帧中，通过利用第二神经网络预测单目标的第二边界框，而对所出现的单目标进行跟踪。

在本公开的一些实施例中，利用第一神经网络和第二神经网络两者，在待处理视频的第一帧之后的剩余帧中对所出现的单目标进行跟踪包括针对当前帧执行如下操作：利用第一神经网络，获取单目标的第一边界框；利用第二神经网络，获取单目标的第二边界框；将单目标的第一边界框与基准框进行比较，以得到第一差值；将单目标的第二边界框与基准框进行比较，以得到第二差值；以及基于第一差值、第二差值和基准框，获取单目标的针对当前帧的跟踪框；以及基于针对当前帧的跟踪框，对当前帧的单目标进行跟踪，其中，第一帧中的跟踪框为被初始化的第二边界框，且基准框是在当前帧的前一帧的跟踪框。