[发明专利]一种基于段落边界扫描预测与词移距离聚类匹配的答案生成方法及装置

权利要求书

1.一种基于段落边界扫描预测与词移距离聚类匹配的答案生成方法，其特征在于，包括：

S1：收集原始数据，对原始数据进行解析并存储为背景文档数据库，其中，背景文档数据库中的每一个背景文档包括背景文档的具体描述，根据查询文本的类别人工标注不同类别的个性化描述模板，构建个性化描述模板数据库；

S2：根据给出的用户查询文本，搜索背景文档数据库并抽取与查询文本相关的背景文档集合，对抽取出的背景文档集合进行相关性排序；

S3：对排序后的背景文档进行段落边界预测以推断答案区间的位置，获得与查询文本对应的答案实体；

S4：利用词移距离模型计算查询文本与所有个性化模板的中心距离，确定模板归属的问题类别并随机选择个性化描述模板；

S5：将查询得到的答案实体填充到选择出的个性化描述模板中，生成与查询文本对应的个性化描述答案；

其中，S2具体包括：

S2.1：分别对用户的查询文本和背景文档数据库中的背景文档进行TF-IDF处理得到查询文本和背景文档中所有词的向量表示，以查询文本中所有词的向量平均来得到查询文本的向量表示、背景文档中所有词的向量平均来得到背景文档的向量表示；

S2.2：根据查询文本的向量表示和背景文档的向量表示计算查询文本与背景文档的向量余弦相似距离，根据余弦相似距离与阈值的关系抽取与查询文本相关的背景文档；

S2.3：根据余弦相似距离的度量值，对抽取出的相关的背景文档进行排序；

给定一个查询文本为q,由n个词组成，分别为q₁,q₂,…q_n，将TF-IDF算法返回的前Top-K个背景文档切分成段落，每个段落p由m个词组成，分别为p₁,p₂,…p_m，并采用RNN段落边界预测阅读模型对排序后的背景文档进行段落边界预测以推断答案区间的位置；

其中，采用RNN段落边界预测阅读模型对排序后的背景文档进行段落边界预测以推断答案区间的位置，包括：

S3.1：将相关的背景文档切分的段落中的每个词用四种特征向量表示，四种特征向量分别为Glove词向量，精确匹配特征向量，符号特征向量和基于注意力特征向量；

S3.2：根据得到的每个词的四种特征向量表示，对背景文档的段落进行整体编码的向量表示；

S3.3：对用户查询文本进行整体向量编码表示；

S3.4：根据背景文档的段落进行整体编码的向量表示和用户查询文本进行整体向量编码表示，进行答案边界预测来抽取答案实体。

2.如权利要求1所述的方法，其特征在于，S1中背景文档数据库中的每一个背景文档还包括文档id、标题和网址。

3.如权利要求1所述的方法，其特征在于，S3.2具体包括：

背景文档段落中的每一个词都进行向量化表示后，表示为的集合，其中f_excat-match(p_i)，f_token(p_i)，f_align(p_i)}，表示每个词的向量化特征由Glove词向量f_emb(p_i)，精确匹配特征f_excat-match(p_i)，符号特征f_token(p_i)和基于注意力特征f_align(p_i)构成；

将的集合输入一个多层的双向LSTM,，将所有隐层进行连接，获得背景文档的段落进行整体编码的向量表示，计算公式如下：

其中，P_i表示p_i周围有效上下文信息。