[发明专利]文本正则化模型训练方法和装置、文本正则化方法和装置

权利要求书

1.一种文本正则化模型训练方法，其特征在于，所述方法包括：

将输入文本对应的输入字符序列中的字符依次输入待生成的文本正则化模型对应的神经网络中，所述文本正则化模型对应的神经网络包括编码器和解码器；

对所述输入字符序列中的每个字符，基于所述解码器中的隐藏层在对输入的上一个字符解码后的状态，采用所述编码器进行编码，得到所述字符的中间语义向量，并采用所述解码器对所述中间语义向量进行解译，得到所述字符的预测结果；

根据所述输入字符序列的预测结果与所述输入文本对应的标注结果之间的差异，对所述神经网络的参数进行调整；

其中，所述输入文本对应的输入字符序列是按照如下方式生成的：

按照第一预设粒度对所述输入文本进行分割得到第一分割结果；

对所述第一分割结果中的非汉字字符进行相应的标签化处理，得到所述输入字符序列。

2.根据权利要求1所述的方法，其特征在于，所述编码器由循环神经网络构建，包括与所述输入字符序列中的各字符一一对应的多个隐节点；

所述基于所述解码器中的隐藏层在对输入的上一个字符解码后的状态，采用所述编码器进行编码，得到所述字符的中间语义向量，包括：

基于所述解码器中的隐藏层在对输入的上一个字符解码后的状态，计算所述编码器中各隐节点的状态权重；

基于所述状态权重，对各所述隐节点的状态进行加权求和得到输入的当前字符的中间语义向量。

3.根据权利要求2所述的方法，其特征在于，所述将输入文本对应的输入字符序列中的字符依次输入待生成的文本正则化模型对应的神经网络中，包括：

将所述输入字符序列中的字符分别按照正向排序和反向排序依次输入所述待生成的文本正则化模型对应的神经网络中；

所述编码器是由双向循环神经网络构建的，包括双层隐节点，所述双层隐节点中的一层隐节点对应按照正向排序输入的字符，所述双层隐节点中的另一层隐节点对应按照反向排序输入的字符。

4.根据权利要求1所述的方法，其特征在于，所述非汉字字符包括以下至少一项：符号字符、连续数字字符、连续字母字符；

所述对所述第一分割结果中的非汉字字符进行相应的标签化处理，包括：

将所述第一分割结果中的符号字符替换为所述符号字符的读音类型的标签，将所述第一分割结果中的连续数字字符替换为所述连续数字字符的语义类型的标签、在所述第一分割结果中的连续字母字符的首尾两端添加字母标签。

5.根据权利要求4所述的方法，其特征在于，所述输入文本对应的标注结果包括与所述输入文本的正则化文本对应的目标字符序列；

所述与所述输入文本的正则化文本对应的目标字符序列按照如下方式生成：

将与所述输入文本对应的正则化文本按照第二预设粒度进行分割，得到第二分割结果，所述第二分割结果包括以下至少一项：与所述输入文本中的单个汉字字符对应的单个汉字字符、与所述输入文本中的连续数字字符对应的第一汉字字符串、与所述输入文本中的符号字符对应的第二汉字字符串、以及与所述输入文本中的连续字母字符对应的多个字母字符；

将所述第二分割结果中的第一汉字字符串替换为对应的所述连续数字字符的语义类型的标签，将所述第二分割结果中的第二汉字字符串替换为对应的所述符号字符的读音类型的标签，在所述第二分割结果中的连续字母字符对应的多个字母字符的首尾两端添加字母标签。

6.一种文本正则化方法，其特征在于，包括：

获取已按照第一预设粒度对待处理文本进行分割，并将分割结果中的非汉字字符进行标签化处理后得到的待处理字符序列；

将所述待处理字符序列输入已训练的文本正则化模型，得到输出字符序列；

对所述输出字符序列中的字符进行去标签化处理，并按顺序组合标签化处理后的各字符，得到所述待处理文本的正则化文本；

其中，所述文本正则化模型基于如权利要求1-5任一项所述的方法训练。