[发明专利]基于OCR技术辅助构建藏汉音译数据集的方法及系统

说明书

本发明公开了一种基于OCR技术辅助构建藏汉音译数据集的方法及系统，应用于数据处理技术领域：提取视频文件源，对带有中文字幕的藏语视频进行分离，得到长音频文件和视频文件；对长音频文件进行切分、数据清洗、重采样、降噪操作，得到音频数据；视频文件通过OCR技术识别字幕，生成中文文本初文件，对中文文本初文件进行数据清洗，并输入藏文字幕，得到文本数据；利用音频数据和文本数据构建藏汉音译数据集。本发明对传统的录制音频采集数据方式加以改进，结合藏语自然口语语音的基本特点，选用有自然口语表达效果的电视访谈节目作为采集来源，整理制作了用于藏汉语音翻译研究的平行语料，为端到端藏汉语音翻译研究提供了一定的数据支撑。

技术领域

本发明涉及数据处理技术领域，更具体的说是涉及基于OCR技术辅助构建藏汉音译数据集的方法及系统。

背景技术

语言上的交流障碍一直是阻碍各少数民族地区发展的重要原因之一，语音翻译技术则是打破各民族交流语言壁障的一项关键技术。训练一个性能良好的语音翻译模型往往需要一定规模和质量的语音语料库，但由于语音翻译研究起步较晚，面临着缺乏可公开获取的高质量的语音语料库问题，因此探索构建语音语料库的高效方法，满足语音翻译中神经网络模型的训练需求显得十分重要。

数据集一直是人工智能发展的重要基础，与已有的语音识别、机器翻译等相关技术公开数据集体量相比，目前语音到语音(S2S)和语音到文本(S2T)的语音翻译技术研究都面临着严重的数据稀缺问题，尤其是小语种相关低资源语音翻译数据集。目前所公开的语音翻译(ST)数据集中，其语言大多采集于英汉、英法、英西等欧洲语言且时长规模相对较小，如CoVoST、CVSS、Must-C等，且对于小语种和方言的数据支持很少，尤其是国内语音翻译相关数据集几乎是空白。小语种语音数据难以构建的原因主要是语料收集难、标注成本高等问题。目前，藏语领域的语音研究主要从物理声学和语言学观点出发，根据藏语的自身特征开展。相比于英语等应用人群较多的语言，藏语语音研究起步较晚，我国国内藏语语音相关研究最早可追溯至本世纪初,滞后于英汉语音识别。经过二十多年的发展,相关研究人员在藏语语音识别、语音合成方面都取得了一定的研究成果，如藏语孤立词语音识别系统研究、藏语非特定人连续语音识别研究等。但藏语公开的可用于研究的语音数据集依旧不足，研究人员在语音翻译的研究发展上受到了一定程度的限制。因此，构建适用于藏汉语音翻译的语音语料库，对藏语语音处理的研究发展和应用有着重大意义，也是目前亟需解决的难题之一。

当前业界主流的构建语音翻译数据集的方法，一方面是利用现有公开的语音识别或语音合成数据集并结合机器翻译实现，或者通过人工录制来构建语音翻译的平行语料数据集。此外，目前已有的藏语数据集大多是基于说话人朗读语音的语料库，这类数据集的优点是构建效率高，语料质量高，但是由于朗读者角色单一，在朗读过程中语调比较规律，与自然交流的场景下有所不同，导致了基于此类语料训练下的模型在真实口语环境下的效果有所偏差。

发明内容

有鉴于此，本发明提供了一种基于OCR技术辅助构建藏汉音译数据集的方法及系统，以解决背景技术中藏汉音译过程中语音数据集不足的问题。

为了实现上述目的，本发明提供如下技术方案：

一方面，基于OCR技术辅助构建藏汉音译数据集的方法，具体步骤如下：

提取视频文件源，所述视频文件源为带有中文字幕的藏语视频；

对到所述带有中文字幕的藏语视频进行分离，得到长音频文件和视频文件；

对所述长音频文件进行切分、数据清洗、重采样、降噪操作，得到音频数据；

所述视频文件通过OCR技术识别字幕，生成中文文本初文件，对所述文本初文件进行数据清洗，并输入藏文字幕，得到文本数据；

利用所述音频数据和所述文本数据构建藏汉音译数据集。

优选的，在上述的基于OCR技术辅助构建藏汉音译数据集的方法中，生成所述文本数据具体步骤如下：