[发明专利]数据收集方法、装置、存储介质及电子设备

说明书

本公开涉及一种数据收集方法、装置、存储介质及电子设备，以快速获得高质量文本语料。所述方法包括：从目标视频中获取多个目标视频帧图像；对所述多个目标视频帧图像进行OCR识别，以确定各个所述目标视频帧图像包含的第一文本和所述第一文本的文本位置信息，所述第一文本的文本位置信息用于指示所述第一文本在目标视频帧图像中出现的位置；根据各个所述文本位置信息，确定所述目标视频的字幕区域；根据所述字幕区域、所述第一文本和所述第一文本的文本位置信息，确定第二文本，所述第二文本取自文本位置信息所指示的位置处于所述字幕区域内的第一文本；将所述第二文本确定为所述目标视频的文本语料。

技术领域

本公开涉及计算机技术领域，具体地，涉及一种数据收集方法、装置、存储介质及电子设备。

背景技术

在语音处理领域，语音识别技术的效果优劣依赖于训练数据的收集，例如，语言模型的训练数据是文本语料。目前，在收集语言模型所需的文本语料时，一般是从开源渠道获得原始数据，但是，由于这一数据获取过程是包括对误差的无差别获取，因此，得到的数据中存在大量的噪声数据，若直接用作用于训练语言模型的文本语料，训练所得的语言模型效果较差。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种数据收集方法，所述方法包括：

从目标视频中获取多个目标视频帧图像；

对所述多个目标视频帧图像进行OCR识别，以确定各个所述目标视频帧图像包含的第一文本和所述第一文本的文本位置信息，所述第一文本的文本位置信息用于指示所述第一文本在目标视频帧图像中出现的位置；

根据各个所述文本位置信息，确定所述目标视频的字幕区域；

根据所述字幕区域、所述第一文本和所述第一文本的文本位置信息，确定第二文本，所述第二文本取自文本位置信息所指示的位置处于所述字幕区域内的第一文本；

将所述第二文本确定为所述目标视频的文本语料。

第二方面，本公开提供一种数据收集装置，所述装置包括：

第一获取模块，用于从目标视频中获取多个目标视频帧图像；

识别模块，用于对所述多个目标视频帧图像进行OCR识别，以确定各个所述目标视频帧图像包含的第一文本和所述第一文本的文本位置信息，所述第一文本的文本位置信息用于指示所述第一文本在目标视频帧图像中出现的位置；

第一确定模块，用于根据各个所述文本位置信息，确定所述目标视频的字幕区域；

第二确定模块，用于根据所述字幕区域、所述第一文本和所述第一文本的文本位置信息，确定第二文本，所述第二文本取自文本位置信息所指示的位置处于所述字幕区域内的第一文本；

第三确定模块，用于将所述第二文本确定为所述目标视频的文本语料。

第三方面，本公开提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面所述方法的步骤。

第四方面，本公开提供一种电子设备，包括：

存储装置，其上存储有计算机程序；

处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面所述方法的步骤。