[发明专利]一种深度学习评价模型、输入法拼音纠错方法及装置

说明书

本发明提供一种深度学习评价模型、输入法拼音纠错方法及装置，使用了基于自动状态转换机的方法，实现输入拼音串和标准音节的高效的levenshtein distance(编辑距离)匹配。然后通过基于深度学习的评价模型，给出当前输入的拼音串和各不同近似标准音节的组合评分。最后通过使用基于动态规划，计算得到最优的组合拼音解析结果。本发明能够实现对于可能存在错误输入的音节进行纠正，并输出正确且概率最大的分音节结果，以及解决可能存在的二义性的问题，兼顾国产化信息平台，提高输入法的运行效率。

技术领域

本发明涉及输入法领域，特别涉及一种深度学习评价模型、基于该模型的输入法拼音纠错方法及装置。

背景技术

拼音输入法，作为中文汉字输出的一种通用方式，是人们日常信息化生活当中必不可少的软件。中文输入法能够实现智能的拼音纠错，将极大的优化用户的日常输入体验，增加用户拼音输入的流畅程度。

现有技术中对拼音串进行纠错首先要先将拼音串进行分音节操作，现有的拼音分音节模型使用正向最大化匹配模型和反向最大化匹配模型实现分音节。但是这些方法都无法有效的处理输入拼音串中本身就存在错误的情况，或者解析方式可能就已经存在二义性。例如：fangan，可以解析成为fan’gan，也可以解析成为fang’an。

为了能够解决输入拼音串中可能存在错误拼音字符输入的情况，同时解决分音节解析可能存在二义性的问题，并且能兼顾国产化信息平台，提高输入法的运行效率，急需对现有技术进行改进。

发明内容

有鉴于此，本发明提供深度学习评价模型、输入法拼音纠错方法及装置，通过使用自动状态转换机，评价模型和动态规划方法，实现对于可能存在错误输入的音节进行纠正，并输出正确且概率最大的分音节结果。处理后的音节，使用基于HMM的语言模型进行组词。

第一方面，本发明提供一种深度学习评价模型，由输入层、推理运算层和输出层组成；所述的输入层、推理层和输出层依次相连；

所述的输入层，将输入的每个音节，通过预训练的编码模型，得到与该音节唯一对应的一个长度50的编码向量，输入到推理层当中；

所述的推理层包括依次连接的设定数量的BiLSTM运算层，在BiLSTM运算层中包括依次连接的双向的LSTM运算单元和非线性激活函数层，每个BiLSTM运算层通过非线性激活函数层连接至下一个BiLSTM运算层；

所述输出层包括数据归一化单元、数据排列单元和损失函数单元，数据归一化单元连接最后一个BiLSTM运算层的非线性激活函数层，将数据进行归一化操作后，输入到数据排列单元中；数据排列单元输出结果，并将结果输入到损失函数单元中，用于计算模型的相关参数的梯度损失。

第二方面，本发明提供一种输入法拼音纠错方法，利用上述深度学习评价模型来查找用户输入的拼音串的概率最大的音节组合方案。

进一步的，一种输入法拼音纠错方法包括以下步骤：

步骤S1、获取用户输入的拼音串；

步骤S2、将输入的拼音串切分为长度小于第一阈值的至少一个音节；

步骤S3、利用标准音节集合匹配每个错误音节的编辑距离小于第二阈值的近似标准音节，形成近似标准音节集合；

步骤S4、利用深度学习评价模型，评价错误音节的每个近似标准音节与该错误音节的前n个音节的匹配度；

步骤S5、利用动态规划方法计算所有的音节组合中，匹配度数值的和最大的值，即为概率最大的音节组合方案。

进一步的，所述的第一阈值为8。

进一步的，所述的第二阈值为2。

进一步的，所述的第二阈值是指将错误的音节转换为近似标准音节所需要的操作数目。