[发明专利]结合关键词检索与孪生神经网络的目标领域问答推送方法

权利要求书

1.一种结合关键词检索与孪生神经网络的目标领域问答推送方法，用于根据用户提出的实时问题推送相应的答案，其特征在于包括以下步骤：

S1：对目标领域进行知识构建和历史问题数据预处理，具体包含以下子步骤S101～S104：

S101：获取并筛选出与目标领域相关的词条作为概念词，建立领域概念词表；

S102：对领域概念词表中的每个概念词，给出表达方式不同的同义词，在此基础上建立领域概念词消歧表，将不同表达方式的同义领域概念词映射到同一个词；

S103：将领域概念词表加入分词词表，然后对每个历史问题进行分词和去停用词处理；

S104：对每个历史问题，基于领域概念词表和领域概念词消歧表将句子中出现的所有不同表达方式的领域概念词替换为同一个词；

S2：基于孪生神经网络训练语义相似度模型，用以计算任意两个句子的语义相似度值，具体包含以下子步骤S201～S205：

S201：收集短句样本，并根据短句表达的含义将其进行分类，构建训练集TS；所述训练集TS里的每个样本为一个三元组其中和分别为经过分词、去停用词和消歧预处理的两个短句，y_i为和的关系标注，若两个短句属于同一类型则y_i为1，属于不同类型则y_i为0；

S202：采用孪生神经网络训练语义相似度模型，网络结构包括输入层、卷积层、交互层和输出层；

在所述输入层中，基于词嵌入技术将和中所有词替换为其对应的向量，对向量进行纵向拼接得到两个矩阵和然后通过尾部截断或填充全0向量的方式将和都处理成大小为l×d的输入矩阵，其中l为短句统一长度，d为词向量维度；

在所述卷积层中，采用两个参数完全共享的卷积神经网络分别处理和每个卷积神经网络首先采用多个不同尺寸的卷积核对输入矩阵进行卷积操作；然后采用MaxPooling Over Time策略对卷积结果进行池化操作；最后拼接池化结果得到卷积特征向量，记和的卷积特征向量分别为和

在所述交互层中，基于余弦相似度计算和的相似度；

在所述输出层中，采用对比损失函数作为训练的损失函数，输出和的预测相似度值；

S3：针对用户输入的实时问题Q_i，通过抽取关键词对历史问题进行全文检索，得到候选问题列表，具体包含以下子步骤S301～S304：

S301：对实时问题Q_i进行预处理，所述预处理包括分词、去停用词和消歧；

S302：首先基于TextRank算法计算Q_i中每个词的重要度权值；然后抽取Q_i中所有消歧后的领域概念词，若抽取出的领域概念词数量小于等于关键词数量设定阈值k，则保留所有抽取出的领域概念词；否则保留重要度权值最高的k个抽取出的领域概念词；将最终保留的领域概念词集记为CW(Q_i)，其包含的词的数量为k_CW；

S303：若k_CWk，在Q_i包含的非领域概念词中挑选重要度权值最高的(k-k_CW)个词作为普通关键词，将最终保留的普通关键词集记为NW(Q_i)；

S304：实时问题Q_i的最终关键词集KW(Q_i)＝CW(Q_i)∪NW(Q_i)，基于Lucene引擎检索至少包含KW(Q_i)中一个词的所有预处理后的历史问题，形成候选问题列表CQ(Q_i)；

S4：匹配度值计算和答案返回：计算实时问题Q_i和候选问题列表CQ(Q_i)中每个候选问题的关键词一致性和语义相似度，然后融合关键词一致性值和语义相似度值得到每个候选问题的匹配度值，按照匹配度值高低排序返回答案，具体包含以下步骤：

S401：对CQ(Q_i)中每个候选问题CQ_j，计算其包含CW(Q_i)中词的数量n(CQ_j)和包含NW(Q_i)中词的数量m(CQ_j)，然后对n(CQ_j)和m(CQ_j)进行加权求平均计算关键词一致性值s₁(Q_i,CQ_j)；

S402：对CQ(Q_i)中每个候选问题CQ_j，将实时问题Q_i和CQ_j输入训练好的语义相似度模型，得到两者的语义相似度预测值s₂(Q_i,CQ_j)；

S403：对s₁(Q_i,CQ_j)和s₂(Q_i,CQ_j)加权求和计算匹配度值s(Q_i,CQ_j)；

S404：从候选问题中挑选匹配度值最高的一个或多个，其对应的答案作为实时问题Q_i的答案进行返回推送。