[发明专利]基于成词性信息和键值记忆网络的中文分词方法及系统

权利要求书

1.基于成词性信息和键值记忆网络的中文分词方法，其特征在于应用于包括编码器、键值记忆网络以及解码器的中文分词模型，编码器和解码器配合作为NER模型，所述方法包括如下步骤：

对输入的句子进行分析，得到每个字所有相关的N元模型，基于每个字所有相关的N元模型构建词典，对于每个N元模型，并将N元模型作为键、将字和键的成词性信息作为值，构建键值记忆；

通过编码器对输入句子的每个字进行编码，基于键值记忆网络通过键和值之间的转换对键值记忆进行建模，得到建模结果；

通过解码器对建模结果进行预测分析，得到分词结果。

2.根据权利要求1所述的基于成词性信息和键值记忆网络的中文分词方法，其特征在于基于非监督方法对输入的句子进行学习分析，得到所有相关的N元模型。

3.根据权利要求1所述的基于成词性信息和键值记忆网络的中文分词方法，其特征在于所述编码器为Bert或BI-LSTM模型，所述解码器基于softmax函数或条件随机场CRF对建模结果进行分类预测，得到分词结果。

4.根据权利要求1-4任一项所述的基于成词性信息和键值记忆网络的中文分词方法，其特征在于基于键值记忆网络通过键和值之间的转换对每一对键值记忆进行建模，包括如下步骤：

对于每个字，从字的上下文包括字本身生成所有相关的N元模型，对于每个N元模型，基于键值记忆网络的键寻址进行N元模型寻址，得到每个N元模型的寻址概率；

基于键值记忆网络的值读取进行字的词性获取，根据值中字的不同情况读取一个键的值，使所有N元模型都映射到基于字在键中的位置的值之一，字的成词性记忆取所有键和值的加权和。

5.基于成词性信息和键值记忆网络的中文分词系统，其特征在于包括：

词典构建模块，所述词典构建模块用于对输入的句子进行分析，得到每个字所有相关的N元模型，基于每个字所有相关的N元模型构建词典，对于每个N元模型，并将N元模型作为键、将字和键的成词性信息作为值，构建键值记忆；

中文分词模型，所述中文分词模型包括编码器、键值记忆网络和解码器，所述编码器和解码器配合作为NER模型，所述键值记忆网络位于所述编码器和解码器之间；

所述编码器用于对输入句子的每个字进行编码，所述键值记忆网络用于通过键和值之间的转换对键值记忆进行建模，得到建模结果；

所述解码器对建模结果进行预测分析，得到分词结果。

所述系统用于通过如权利要求1-4任一项所述的基于成词性信息和键值记忆网络的中文分词方法进行中文分词。

6.根据权利要求5所述的基于成词性信息和键值记忆网络的中文分词系统，其特征在于所述词典构建模块用于基于非监督方法对输入的句子进行学习分析，得到所有相关的N元模型。

7.根据权利要求5所述的基于成词性信息和键值记忆网络的中文分词系统，其特征在于所述编码器为Bert或BI-LSTM模型，所述解码器基于softmax函数或条件随机场CRF对建模结果进行分类预测，得到分词结果。

8.根据权利要求5-7任一项所述的基于成词性信息和键值记忆网络的中文分词系统，其特征在于所述键值记忆网路用于通过如下步骤基于键值记忆网络通过键和值之间的转换对每一对键值记忆进行建模：

对于每个字，从字的上下文包括字本身生成所有相关的N元模型，对于每个N元模型，基于键值记忆网络的键寻址进行N元模型寻址，得到每个N元模型的寻址概率；

基于键值记忆网络的值读取进行字的词性获取，根据值中字的不同情况读取一个键的值，使所有N元模型都映射到基于字在键中的位置的值之一，总的字成词性记忆取所有键和值的加权和。

9.装置，其特征在于，包括：至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至4中任一所述的方法。

10.计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至4任一所述的方法。