[发明专利]基于中文词向量模型的文本识别方法、装置及存储介质

权利要求书

1.一种基于中文词向量模型的文本识别方法，其特征在于，该方法包括：

建模步骤，基于目标词、上下文窗口词和目标词声调n-grams构建第一中文词向量模型和第二中文词向量模型；

训练步骤，基于语料库对所述第一中文词向量模型和第二中文词向量模型进行训练得到训练后的所述第一中文词向量模型和第二中文词向量模型；

在对所述第一中文词向量模型和第二中文词向量模型进行训练时，随机选择一部分词作为负样本，计算目标词的上下文窗口词的向量与目标词的向量的第一得分P(w_i|w_i±j)，计算目标词声调的向量与目标词的向量的第二得分所述第一、二得分构成得分对：

其中，和分别为目标词的上下文窗口词的向量和目标词声调的向量的平均值，为随机挑选的第k个负样本词的词向量，K为负样本词的个数，j＝1、2、……、 h，z＝1、2、……、 m；

根据所述得分对计算所述第一中文词向量模型和第二中文词向量模型的损失，其中，损失函数为L，用于控制所述第一、二中文词向量模型的学习速度，

其中，λ为正则系数，取值为[0,1]，D为训练集所有样本的个数；

使用训练后的所述第二中文词向量模型对识别结果进行验证，如果验证结果低于第一阈值，则对所述第一中文词向量模型进行重新训练后再对输入的文本进行识别；

识别步骤，使用训练后的所述第一中文词向量模型获取输入文本的语义向量并输出结果；

其中，所述第一中文词向量模型的输入为上下文窗口词和目标词声调n-grams，输出为目标词，所述第二中文词向量模型的输入为目标词和目标词声调n-grams，输出为上下文窗口词。

2.根据权利要求1所述的方法，其特征在于，在所述训练步骤中，对语料库中的任一文档经过分词处理得到n个词，则将该文档的词列表和声调簇列表表示为：

W＝[w₁,w₂,…,w_i,…,w_n],1≤i≤n

T＝[t₁,t₂,…,t_i,…,t_n],1≤i≤n

其中，w_i为该文档的第i个词，t_i是第i个词的声调簇；

遍历该文档的所有词和声调簇，选取第i个词w_i作为选择的目标词，[w_i-h,…w_i-1,w_i+1,…,w_i+h]为目标词的上下文窗口词，为目标词及上下文窗口词对应的声调簇列表生成的声调n-grams作为目标词声调n-grams，其中，h为窗口的大小，n的取值为3、4、5，m为n-grams中成员的数目，在对第一中文词向量模型训练时，对w_i添加标签，[w_i-h,…w_i-1,w_i+1,…,w_i+h]和作为输入；在对第二中文词向量模型训练时，对[w_i-h,…w_i-1,w_i+1,…,w_i+h]添加标签，w_i和作为输入。

3.根据权利要求2所述的方法，其特征在于，统计所述语料库所有文档的词和声调簇获取语料库词典和声调字典，基于所述语料库词典将所述目标词w_i和[w_i-h,…w_i-1,w_i+1,…,w_i+h]进行向量化，基于声调字典对进行向量化，使用所述向量化后的w_i、[w_i-h,…w_i-1,w_i+1,…,w_i+h]和对所述第一中文词向量模型和第二中文词向量模型进行训练。