[发明专利]文本处理方法及相关设备

权利要求书

1.一种文本处理方法，其特征在于，包括：

基于第一词袋模型从待回答问句文本中，提取所述待回答问句文本对应的问句向量，并基于第一词嵌入矩阵，将所述待回答问句文本对应的问句向量转换为预设维度的向量，以得到所述待回答问句文本的特征数据；

基于第二词袋模型分别从多个备选答案文本中，提取所述多个备选答案文本各自对应的答案向量，并基于第二词嵌入矩阵，分别将所述多个备选答案文本各自对应的答案向量转换为所述预设维度的向量，以得到所述多个备选答案文本各自对应的特征数据；

根据所述待回答问句文本的特征数据与所述多个备选答案文本各自对应的特征数据的相似度，确定目标答案文本。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

迭代执行答案推荐模型的训练流程，直至所述答案推荐模型的训练效果满足预设条件，训练效果满足所述预设条件时的所述答案推荐模型包括所述第一词袋模型、所述第二词袋模型、所述第一词嵌入矩阵和所述第二词嵌入矩阵；

其中，所述答案推荐模型的训练流程包括：

根据所述答案推荐模型对应的损失调整所述第一词嵌入矩阵和所述第二词嵌入矩阵；

通过所述第一词袋模型、所述第二词袋模型以及调整后的所述第一词嵌入矩阵和所述第二词嵌入矩阵从预先选取得到的多个训练文本对中，提取所述多个训练文本对各自对应的特征数据对，以得到多个特征数据对，其中，一个所述训练文本对包括一个问句文本和一个答案文本，所述答案文本为正确文本答案或错误文本答案，一个所述特征数据对包括从目标训练文本对中的问句文本提取的特征数据和所述目标训练文本对中的答案文本提取的特征数据，所述目标训练文本对为所述多个训练文本对中的任一训练文本对；

根据多个第一特征数据对的相似度和多个第二特征数据对的相似度，确定所述答案推荐模型对应的损失，其中，所述第一特征数据对为所述多个训练文本对中的第一训练文本对对应的特征数据对，所述第一训练文本对包括一个问句文本和一个正确文本答案，所述第二特征数据对为所述多个训练文本对中的第二训练文本对对应的特征数据对，所述第二训练文本对包括一个问句文本和一个错误文本答案。

3.根据权利要求2所述的方法，其特征在于，所述预设条件为：

所述答案推荐模型对应的损失小于预设损失，或者，所述答案推荐模型的迭代训练次数大于预设次数。

4.根据权利要求2所述的方法，其特征在于，所述多个训练文本对为根据多个问句文本和多个答案文本确定的；所述迭代执行答案推荐模型的训练流程之前，还包括：

将知识图谱中的多个语言实体分别带入各自对应的问句文本模板中，以得到所述多个问句文本，其中，所述语言实体的类型和所述问句文本模板的问句类型具有对应关系；

从所述知识图谱中确定所述多个问句文本各自对应的正确答案文本，以得到所述多个答案文本。

5.根据权利要求4所述的方法，其特征在于，所述多个第一训练文本对由多个初始第一训练文本对和多个同义第一训练文本对组成；所述从所述知识图谱中确定所述多个问句文本各自对应的正确答案文本，以得到所述多个答案文本之后，还包括：

将所述多个问句文本分别与各自对应的正确答案文本组合，以得到所述多个初始第一训练文本对；

对所述多个初始第一训练文本对进行同义词替换，以得到所述多个同义第一训练文本对。

6.根据权利要求2-5任一项所述的方法，其特征在于，所述答案推荐模型对应的损失loss函数为：

其中，D表示所述多个第一训练文本对的具体个数，q_i表示所述多个第一训练文本对中第i个第一训练文本对的问句文本，a_i表示第i个第一训练文本对的答案文本，Similarity(q_i,a_i)表示从第i个第一训练文本对提取的特征数据对的相似度，A表示随机抽取的若干个与q_i对应的错误答案文本集合，表示q_i对应的第二特征数据对的相似度，h为预设差值。