[发明专利]一种面向自然语言的内容多样化搜索方法

权利要求书

1.一种面向自然语言的内容多样化搜索方法，其特征在于，包含以下步骤：

S1.利用CRF++工具对由自然语言描述的查询语句进行实体识别；

S11.利用分词工具对训练语料进行粗标记；

S12.对粗标后的训练再进行人工细标，得到标注准确的语料作为训练样本；

S13.利用CRF++工具对训练样本进行训练，产生用于实体识别的模型，并利用该模型识别自然语言查询语句中的实体；

S2.采用word2vec技术对实体进行消歧处理，其中，若识别出的实体在知识图谱中不存在，则采用相似度计算的方法查找语义相近的实体；

S21.对语料分词，然后使用word2vec计算语料中多次出现的词的词向量；

S22.当知识图谱中不存在用户输入的查询语句所包含的实体时，该实体即为未知实体，基于余弦法计算未知实体与词典中其他词的相似度，选择相似度最高的词替代未知实体；

S3.采用无监督的实体关系识别方法，利用距离特征、频次特征、关系指示词特征建立实体关系识别模型，提取查询语句中的“实体——实体”的实体对关系；

S31.统计文本文档，查找距离特征，得到词间距离与实体对存在关系的概率分布图，其中，当实体对间的距离为2时，该实体对存在关系的概率最大，随着词间距离增大，实体对存在关系的概率逐渐减小；

S32.计算实体对出现频次，其中，有效的实体对在文本文档中出现的频次越高，实体对间存在关系的概率越大；

S33.统计文本文档，查找关系指示词特征，得到关系指示词在实体对中的位置与实体对存在关系的概率分布图，其中，关系指示词出现在两个实体的中间位置时，该实体对存在关系的概率最大；

S34.用距离特征、实体对频次特征、和关系指示词特征来评定实体对是否存在关系；

S4.以实体为节点，“实体——实体”关系为边，建立查询模式图，并对查询语句中的“查询焦点”在查询模式图中予以标注；

S5.利用子图同构算法将查询模式图与知识图谱进行结构匹配，返回与“查询焦点”相匹配的“对象”集合；

S6.采用结果多样化技术，选择Top-k个对象作为查询结果；

S61.定义匹配结果的相关性指标和距离指标，产生结果多样性计算模型，其中，相关性指标基于“对象”集合的属性，而距离指标则基于“对象”集合属性的Jaccard距离或集合属性的Jaccard距离的加权值；

S62.根据多样性计算模型，从“对象”集合中，迭代选取最优的“对象”对，直到k个“对象”选择完毕为止。

2.根据权利要求1所述的一种面向自然语言的内容多样化搜索方法，其特征在于，所述步骤S34中评定实体对是否存在关系的评定模型为：

M＝αX_distance+βY_frequency+γZ_relation

其中，α,β,γ是利用网格搜索的方法确定，X_distance为距离特征，Y_frequency为实体对频次特征，Z_relation为关系指示词特征。

3.根据权利要求1所述的一种面向自然语言的内容多样化搜索方法，其特征在于，所述步骤S61具体为：

S611.将实体的评价分值作为判断其匹配相关性的标准ω(υ_i)；

S612.将ω(υ_i)零均值归一化为ω'(υ_i)；

S613.将实体的其它属性作为实体间距离判断的依据，并将两个实体间的距离d(υ_i,υ_j)定义为集合属性的Jaccard距离或集合属性的Jaccard距离的加权值；

S614.将d(υ_i,υ_j)零均值归一化为d'(υ_i,υ_j)；

所述步骤S62具体为：

S621.定义“对象”集合的多样化函数即“对象”集合的多样性计算模型F(S)：

S622.计算并存储实体对的多样化函数值；

S623.对与“查询焦点”相匹配的“对象”进行迭代，挑选多样化函数值最大的“对象”对；

S624.当k个对象选择完毕，迭代终止。