[发明专利]一种内容知识图谱的构建方法及系统

权利要求书

1.一种内容知识图谱的构建方法，其特征在于，该方法包括：

第一步：以核心词作为检索词进行互联网检索，进行大规模文章数据采集和数据存储，并进行各文章文本内容的提取，还可以通过API接口进行文本数据的采集，也可通过本地文件上传方式，获取大规模原始数据；

第二步：对全部数据资源进行中文分词和规则处理，构建大规模文章训练模型和词向量训练模型；

第三步：基于文章和词向量训练模型，利用相似度算法和规则模型计算构建出核心词的长尾词实体字典与相似度，作为核心词的知识图谱第二层实体与实体级关系库；

第四步：利用分词算法和规则判断建立全部实体字典，基于文章和词向量训练模型，用相似度算法将字典中实体与第二层实体之间进行关系计算与匹配，并形成知识图谱第三层实体与实体级关系库；

第五步：重复第四步，可自动形成知识图谱的第四层、第五层至第N层实体与实体级关系库；

第六步：基于核心词与各层实体及实体关系，设定阈值，使用neo4j将核心词与各层实体及实体关系存入第二类数据模块，生成核心词领域的内容知识图谱组。

2.根据权利要求1所述的一种内容知识图谱的构建方法，其特征在于：第二步中对采集的文章文本内容进行中文分词处理，分词方法可调用开源分词技术，亦可基于大数据和中文特征，采用N-gram分词机制进行；分词完成后对分词结果进一步筛选，去除停用词、虚词、量词、代词、数词、形容词，之后形成预处理的文章，以此构建大规模文章训练模型和词向量训练模型；“基于大数据和中文特征，采用N-gram分词机制”的技术原理：对源数据进行格式清洗后，采用N-gram分词机制进行N元词组的切分，对词/词组进行词频统计以及N+1元词组与N元词/词组的比较统计，对设定阈值之上的词/词组判定为有效词，形成分词词典。

3.根据权利要求1所述的一种内容知识图谱的构建方法，其特征在于：第三步中首先基于分词方法获取核心词的长尾词，获取方法为对核心词所在的所有句子进行分词，去除虚词、量词、代词、数词、形容词等对制作知识图谱组无用的词，去除包含程度过高的词，根据已有停用词库去除停用词后形成初始长尾词，对初始长尾词进行进一步的近义词过滤，之后形成长尾词库；然后基于文章和词向量训练模型，对所有长尾词与关键词之间进行相似度计算，利用word2vec将关键词与各词语进行向量化表示后进行相似度计算，根据相似程度的高低进行排序，去除相似度大于高阈值、以及相似度小于低阈值的长尾词，剩下的词作为知识图谱的第二层，构成知识图谱第二层实体与实体级关系库；相似度计算可采用余弦相似度算法实现，套用余弦函数计算所有长尾词与关键词的相似度，相似度的取值—余弦值，即为长尾词与关键词的实体级关系，计算方法如下：

其中，Ai，Bi分别代表向量A和B的各分量，向量A、向量B为别为词语A、词语B的向量化表示，相似度取值越接近1，表明两个向量越相似，即两个词关联程度越大；相似度取值越接近0，表明两个向量越不相似，即两个词关联程度越小。

4.根据权利要求1所述的一种内容知识图谱的构建方法，其特征在于：第四步中首先利用分词算法对全部数据资源进行分词后得到初始词库，去除虚词、量词、代词、数词、形容词等对制作知识图谱组无用的词，去除包含程度过高的词，根据已有停用词库去除停用词后，剩下的词形成初始实体库；然后将初始实体库与知识图谱第二层实体词进行匹配，去除相同的词后，进行实体关系匹配与相似度计算，利用word2vec将关键词与各词语进行向量化表示后进行相似度计算，根据相似程度的高低进行排序，去除相似度大于高阈值、以及相似度小于低阈值的词，剩下的词作为知识图谱的第三层，相似度值作为与第二层各实体间的属性值，一起构成知识图谱第三层实体与实体级关系库。

5.根据权利要求1所述的一种内容知识图谱的构建方法，其特征在于：第五步中将初始实体库与知识图谱第二层实体词、第三层实体词进行匹配，去除相同的词后，与第三层实体词进行实体关系匹配与相似度计算，去除相似度大于高阈值、以及相似度小于低阈值的词，剩下的词作为知识图谱的第四层，相似度值作为与第三层各实体间的属性值，一起构成知识图谱第四层实体与实体级关系库；重复以上步骤，可以构建知识图谱的第五层至第N层实体与实体级关系库。