[发明专利]数据处理方法和装置、用于数据处理的装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取训练语料；所述训练语料包括：不完整语句对应的第一语料；所述第一语料包括：以完整语句对应第二语料中第一个词汇为开头的至少一个词汇；

针对所述训练语料进行特征提取，语言模型对应的训练特征包括：所述第一语料中语言单元在完整语句中的位置、以及所述语言单元后面的标点情况；

依据所述训练特征，对所述训练数据进行语言模型的训练；所述语言模型用于学习所述第一语料相应的字符单元序列在语言中出现的概率。

2.根据权利要求1所述的方法，其特征在于，所述不完整语句对应的第一语料为从完整语句对应的第二语料中截取得到。

3.根据权利要求1所述的方法，其特征在于，所述获取训练语料，包括：

对完整语句对应的第二语料进行分词，以得到所述第二语料包括的词汇；

依据所述第二语料包括的词汇，确定所述第二语料对应的截断位置；

按照从前到后的顺序，从所述第二语料中截取所述截断位置对应的字符串，作为不完整语句对应的第一语料。

4.根据权利要求3所述的方法，其特征在于，所述截断位置位于相邻的两个词汇之间。

5.根据权利要求3所述的方法，其特征在于，所述截断位置不与所述第二语料包括的标点相邻。

6.根据权利要求1至5中任一所述的方法，其特征在于，所述语言模型对应的训练语料还包括：完整语句对应的第二语料。

7.一种数据处理方法，其特征在于，包括：

获取待处理文本；

利用语言模型为所述待处理文本添加标点，以得到所述待处理文本对应的标点添加结果；其中，所述语言模型对应的训练语料包括：不完整语句对应的第一语料；所述语言模型对应的训练特征包括：所述第一语料中语言单元在完整语句中的位置、以及所述语言单元后面的标点情况；所述第一语料包括：以完整语句对应第二语料中第一个词汇为开头的至少一个词汇；所述语言模型用于学习所述第一语料相应的字符单元序列在语言中出现的概率；

输出所述待处理文本对应的标点添加结果。

8.根据权利要求7所述的方法，其特征在于，所述不完整语句对应的第一语料为从完整语句对应的第二语料中截取得到。

9.根据权利要求7或8所述的方法，其特征在于，所述利用语言模型为所述待处理文本添加标点，包括：

对所述待处理文本进行分词，以得到所述待处理文本对应的全局词序列；

在所述全局词序列中相邻词汇之间添加标点符号，以得到所述全局词序列对应的多种备选标点添加结果；

依据语言模型，确定所述多种备选标点添加结果中的每一种对应的概率得分；

从所述多种备选标点添加结果中获取概率得分最高的一种备选标点添加结果，作为所述待处理文本对应的标点添加结果。

10.一种数据处理装置，其特征在于，包括：

语料获取模块，用于获取训练语料；所述训练语料包括：不完整语句对应的第一语料；所述第一语料包括：以完整语句对应第二语料中第一个词汇为开头的至少一个词汇；

特征提取模块，用于针对所述训练语料进行特征提取，语言模型对应的训练特征包括：所述第一语料中语言单元在完整语句中的位置、以及所述语言单元后面的标点情况；以及

模型训练模块，用于依据所述训练特征，对所述训练数据进行语言模型的训练；所述语言模型用于学习所述第一语料相应的字符单元序列在语言中出现的概率。

11.根据权利要求10所述的装置，其特征在于，所述不完整语句对应的第一语料为从完整语句对应的第二语料中截取得到。