[发明专利]数据处理方法和装置、用于数据处理的装置

说明书

本发明实施例提供了一种数据处理方法和装置、用于数据处理的装置，其中的方法具体包括：获取训练语料；所述训练语料包括：不完整语句对应的第一语料；针对所述训练语料进行特征提取，所述语言模型对应的训练特征包括：所述第一语料中语言单元在完整语句中的位置、以及所述语言单元后面的标点情况；依据所述训练特征，对所述训练数据进行语言模型的训练。本发明实施例可以提高添加标点的准确度。

技术领域

本发明涉及信息处理技术领域，特别是涉及一种数据处理方法和装置、以及一种用于数据处理的装置。

背景技术

在通信领域以及互联网领域等信息处理技术领域，在某些应用场景中需要为一些缺少标点的文件添加标点。例如，为了方便阅读，为语音识别结果对应的文本添加标点等。

现有方案可以利用语言模型为文本添加标点。该语言模型用于描述给定字符单元序列在语言中出现的概率的分布，该字符单元可以包括：词和/或标点符号，语言模型的输出可以是字符单元序列对应的概率得分。依据语言模型输出的字符单元序列对应的概率得分，可以确定文本对应的标点添加结果。

发明人在实现本发明实施例的过程中发现，现有语言模型的训练方法中，使用的训练语料往往是完整语句对应的语料。依据完整语句对应的语料，进行语言模型的训练，可以使训练得到的现有语言模型具备完整语句的标点添加能力。因此，利用现有语言模型为文本添加标点，往往倾向于在文本的末尾位置添加标点，在该文本为不完整语句的情况下，往往会得到错误的标点添加结果，进而导致添加标点的准确度较低。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法、数据处理装置、用于数据处理的装置，本发明实施例可以提高添加标点的准确度。

为了解决上述问题，本发明实施例公开了一种数据处理方法，包括：

获取训练语料；所述训练语料包括：不完整语句对应的第一语料；

针对所述训练语料进行特征提取，所述语言模型对应的训练特征包括：所述第一语料中语言单元在完整语句中的位置、以及所述语言单元后面的标点情况；

依据所述训练特征，对所述训练数据进行语言模型的训练。

可选地，所述不完整语句对应的第一语料为从完整语句对应的第二语料中截取得到。

可选地，所述获取训练语料，包括：

对完整语句对应的第二语料进行分词，以得到所述第二语料包括的词汇；

依据所述第二语料包括的词汇，确定所述第二语料对应的截断位置；

按照从前到后的顺序，从所述第二语料中截取所述截断位置对应的字符串，作为不完整语句对应的第一语料。

可选地，所述截断位置位于相邻的两个词汇之间。

可选地，所述截断位置不与所述第二语料包括的标点相邻。

可选地，所述语言模型对应的训练语料还包括：完整语句对应的第二语料。

另一方面，本发明实施例公开了一种数据处理方法，包括：

获取待处理文本；

利用语言模型为所述待处理文本添加标点，以得到所述待处理文本对应的标点添加结果；其中，所述语言模型对应的训练语料包括：不完整语句对应的第一语料；所述语言模型对应的训练特征包括：所述第一语料中语言单元在完整语句中的位置、以及所述语言单元后面的标点情况；

输出所述待处理文本对应的标点添加结果。

可选地，所述不完整语句对应的第一语料为从完整语句对应的第二语料中截取得到。