[发明专利]基于视频的无监督难例数据挖掘方法、装置、介质及设备

说明书

本发明公开了一种基于视频的无监督难例数据挖掘方法，包括：利用待优化的第一检测模型对无标注的视频进行逐帧检测，生成第一检测结果；根据所述第一检测结果，选取不具有连续性的相邻两帧图片构成难例图片对；利用第二检测模型对所述难例图片对中的第一帧图片进行检测，得到第二检测结果；根据所述第二检测结果判断所述难例图片对中存在的难例类型。本发明有针对性地选择到了有用图片，避免了大量重复简单图片的产生。

技术领域

本发明涉及人工智能领域，具体涉及一种基于视频的无监督难例数据挖掘方法、装置、介质及设备。

背景技术

深度学习训练时需要大量的数据，一种方法是在视频中均匀截帧，之后送给人工进行标注。然而这种方法没有针对性，会挖掘出很多无用的图片(比如某些场景神经网络效果已经非常好)。这些无用的图片送去人工标注不仅造成极大的人力资源浪费，而且使某些极具价值的图片淹没在无用的图片中，最终导致模型的性能没有提升。另一种方法可以将待优化模型在原始视频中跑检测，人为观察在哪儿些场景效果不好，之后将视频中该区域选出，这种做法选择图片时有针对性，但人工成本过高。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于视频的无监督难例数据挖掘方法、装置、介质及设备，用于解决现有技术存在的问题。

为实现上述目的及其他相关目的，本发明提供一种基于视频的无监督难例数据挖掘方法，包括：

利用待优化的第一检测模型对无标注的视频进行逐帧检测，生成第一检测结果；

根据所述第一检测结果，选取不具有连续性的相邻两帧图片构成难例图片对；

利用第二检测模型对所述难例图片对中的第一帧图片进行检测，得到第二检测结果；

根据所述第二检测结果判断所述难例图片对中存在的难例类型。

可选地，所述难例类型包括难例正例、难例负例。

可选地，所述不具有连续性的相邻两帧图片的判断方法，包括：

获取相邻两帧图片的第一交并比；

根据所述第一交并比判断相邻两帧图片是否具有连续性；

若所述第一交并比小于第一交并比阈值，则相邻两帧图片不具有连续性，反之则具有连续性。

可选地，所述难例图片对包括具有第一检测框的第一帧图片和不具有第一检测框的第二帧图片。

可选地，若第二检测结果中包含第二检测框，则所述第二帧图片中存在难例正例，保留第二帧图片；若第二检测结果中不包含第二检测框，则所述第一帧图片中存在难例负例，保留第一帧图片。

可选地，若第二检测结果中含第二检测框，则该方法还包括：

计算所述第一检测框与所述第二检测框的第二交并比；

根据所述第二交并比判断所述难例图片对中存在的难例类型。

可选地，若所述第二交并比大于或等于第二交并比阈值，则所述第二帧图片中存在难例正例，保留第二帧图片；若所述第二交并比小于第二交并比阈值，则所述第一帧图片中存在难例正例，保留第一帧图片。

可选地，利用保留的难例正例图片与难例负例图片组成的数据集对第一检测模型进行再训练，以优化所述第一检测模型。

可选地，在对第一检测模型进行再训练时，对难例正例图片中的第二检测框区域或/和难例负例图片中的第一检测框区域或/和难例负例图片中的第一检测框区域与第二检测框区域的交集区域。

为实现上述目的及其他相关目的，本发明提供一种基于视频的无监督难例数据挖掘装置，包括：