[发明专利]一种构建语言模型的方法、输入法及系统

说明书

本发明公开一种构建语言模型的方法，包括：获取文本数据中的句子的未来向量，句子的未来向量为句子反向之后所提取的向量；以文本数据中的句子中的前文为第一输入，以句子的未来向量作为第一输出，训练得到未来向量预测网络；至少以将所述句子中的前文输入未来向量预测网络的输出值作为第二输入，以句子的前文的后续词语为第二输出，训练得到主神经网络；基于未来向量预测网络和主神经网络生成所述语言模型。在本发明通过综合考虑已知前文和相应于已知前文的未来向量的方式来构建语言模型，使得所构建的语言模型能够从整个句子层面(未来向量)结合当前前文信息来预测后续词语，提高了预测的准确性与可靠性。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种构建语言模型的方法、输入方法及系统。

背景技术

对于已有文本数据，使用LSTM(Long Short-Term Memory，长短期记忆网络)语言模型，将当前词作为输入(进行联合训练时加入其他标注信息)，下一个词作为输出进行训练。由于使用LSTM语言模型，给定一句话的一部分，预测下一个新的词语，使用时将新生成的词语作为下一时刻的输入，循环生成直到句子结束。

发明人在实现本发明的过程中发现，现有技术中的上述LSTM语言模型的方法所预测得到的句子，由于仅仅是依赖于当前输入的词来预测下一个词，脱离了句子本身所要表达的意义，所以结果往往显得生硬、不自然，甚至并非用户所期待的结果。

发明内容

本发明实施例提供一种构建语言模型的方法、输入法及系统，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种构建语言模型的方法，包括：

获取文本数据中的句子的未来向量，所述句子的未来向量为所述句子反向之后所提取的向量；

以所述文本数据中的句子中的前文为第一输入，以所述句子的未来向量作为第一输出，训练得到未来向量预测网络；

至少以将所述句子中的前文输入所述未来向量预测网络后的输出值作为第二输入，以所述句子的前文的后续词语为第二输出，训练得到主神经网络；

基于所述未来向量预测网络和所述主神经网络生成所述语言模型。

第二方面，本发明实施例提供一种输入法，应用于电子设备，包括：

前述构建语言模型的方法中的所述的语言模型获取用户已输入的文字信息；

将所述文字信息导入前述构建语言模型的方法中的所述的语言模型，以利用所述未来向量预测网络基于所述已输入的文字信息，生成对应于所述已输入的文字信息的未来向量；利用所述主神经网络基于所述已输入的文字信息和所述已输入的文字信息的未来向量，预测得到所述已输入的文字信息的后续词语；

将所述已输入的文字信息的后续词语提供给所述电子设备的用户界面层，以展示给用户。

第三方面，本发明实施例提供一种构建语言模型的系统，包括：

未来向量获取程序模块，用于获取文本数据中的句子的未来向量，所述句子的未来向量为所述句子反向之后所提取的向量；

预测网络训练程序模块，用于以所述文本数据中的句子中的前文为第一输入，以所述句子的未来向量作为第一输出，训练得到未来向量预测网络；

主神经网络训练程序模块，用于至少以将所述句子中的前文输入所述未来向量预测网络后的输出值作为第二输入，以所述句子中的前文的后续词语为第二输出，训练得到主神经网络；

语言模型生成程序模块，用于基于所述未来向量预测网络和所述主神经网络生成所述语言模型。

第四方面，本发明实施例提供一种输入法系统，应用于电子设备，包括：