[发明专利]文本处理方法及装置、模型训练方法及装置

说明书

本公开提供了一种文本处理方法及装置、模型训练方法及装置，涉及数据处理技术领域。该文本处理方法包括：基于第一语言文本确定第一语言文本模块，并基于第二语言文本确定第二语言文本模块；分别对第一语言文本模块和第二语言文本模块进行句词拆分操作，以生成多个第一语言文本单元和多个第二语言文本单元；基于多个第一语言文本单元和多个第二语言文本单元确定第一语言文本模块和第二语言文本模块对应的平行句对。本公开充分利用了文本的结构特征，并借助了句词拆分操作将相应的文本模块转换为包括碎片化的分句分词的文本单元，因此，本公开能够充分顾及句子间的潜在语义信息，进而能够有效提升平行句对的构建效果。

技术领域

本公开涉及数据处理技术领域，具体涉及文本处理方法及装置、模型训练方法及装置、计算机可读存储介质和电子设备。

背景技术

近年来，随着全球化的加速发展，文本翻译、文本检索等文本处理需求日益涌现。平行句对作为文本处理的重要依据，其重要性不言而喻。

然而，现有平行句对的构建方案主要依赖于词汇和句子的长度信息实现，忽略了句子间潜在的语义信息，因此，构建效果较差。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种文本处理方法及装置、模型训练方法及装置、计算机可读存储介质和电子设备。

第一方面，本公开一实施例提供一种文本处理方法，该方法包括：基于第一语言文本确定第一语言文本模块，并基于第二语言文本确定第二语言文本模块，其中，第一语言文本模块与第二语言文本模块在文本结构层面呈对应关系；分别对第一语言文本模块和第二语言文本模块进行句词拆分操作，以生成多个第一语言文本单元和多个第二语言文本单元；基于多个第一语言文本单元和多个第二语言文本单元确定第一语言文本模块和第二语言文本模块对应的平行句对。

结合本公开的第一方面，在一些实施例中，基于多个第一语言文本单元和多个第二语言文本单元确定第一语言文本模块和第二语言文本模块对应的平行句对，包括：针对多个第一语言文本单元中的每个第一语言文本单元，基于多个第二语言文本单元确定第一语言文本单元对应的第一候选单元集合，其中，第一候选单元集合包括至少一个第二语言文本单元；计算第一候选单元集合中包括的第二语言文本单元对应的统计分数信息；基于统计分数信息确定第一语言文本单元对应的第二候选单元集合；基于多个第一语言文本单元各自对应的第二候选单元集合确定平行句对。

结合本公开的第一方面，在一些实施例中，计算第一候选单元集合中包括的第二语言文本单元对应的统计分数信息，包括：确定第一候选单元集合中包括的第二语言文本单元和第一语言文本单元对应的多个候选词对；确定多个候选词对各自对应的分数信息；基于多个候选词对各自对应的分数信息确定统计分数信息。

结合本公开的第一方面，在一些实施例中，候选词对包括第一语言词和与第一语言词对应的第二语言词，确定多个候选词对各自对应的分数信息，包括：针对多个候选词对中的每个候选词对，基于候选词对的出现频率信息、包含有第二语言词的第二语言文本单元在第一候选单元集合中的比值信息、第二语言文本单元的候选加权信息、第二语言文本单元和第一语言文本单元的长度比值信息，确定候选词对对应的分数信息；其中，基于多个候选词对各自对应的分数信息确定统计分数信息，包括：对多个候选词对各自对应的分数信息进行累加操作，以确定统计分数信息。

结合本公开的第一方面，在一些实施例中，基于候选词对的出现频率信息、包含有第二语言词的第二语言文本单元在第一候选单元集合中的比值信息、第二语言文本单元的候选加权信息、第二语言文本单元和第一语言文本单元的长度比值信息，确定候选词对对应的分数信息，包括：计算出现频率信息和比值信息的第一乘积信息对应的对数信息；计算对数信息、候选加权信息和长度比值信息的第二乘积信息；基于第二乘积信息确定分数信息。