[发明专利]一种基于知识图谱的暗网话题发现方法和系统

权利要求书

1.一种基于知识图谱的暗网话题发现方法，其特征在于，包括：

对获取的暗网数据进行web页面去重，通过算法对存在的采集了多次的同一页面的数据进行去重处理；

将去重处理后的所述暗网数据进行降维处理；

通过黑话词典和doc2vec配合word2vec，对降维后的所述暗网数据进行黑话检测识别；

对检测到黑话后的数据进行自然语言处理，提取出弱信号数据的实体、属性、关系和事件；

根据自然语言处理提取的弱信号数据构造事实三元组，构建事件知识图谱；

在所述事件知识图谱中通过图匹配和遍历实现弱信号数据间的关联发现，并通过所述事件知识图谱中的弱信号关联和节点中心性计算实现核心话题的发现；具体包括：计算所述事件知识图谱的中心性，得到第一话题发现结果；根据iMLDA算法对网页内容进行计算，得到第二话题发现结果；判断所述第一话题发现结果和所述第二话题发现结果中的相同数量是否超过预设的阈值，若是，则根据所述第一话题发现结果和所述第二话题发现结果中相同数量的发现结果直接确定为暗网话题；若否，则通过所述第一话题发现结果和所述第二话题发现结果及其相关的三元组构造话题知识图谱，重复计算所述话题知识图谱的中心性得到最终的暗网话题。

2.如权利要求1所述的基于知识图谱的暗网话题发现方法，其特征在于，在所述对获取的暗网数据进行web页面去重，通过算法对存在同一个页面采集了多次的数据进行去重处理之后，还包括：通过字符串匹配与字典法对与暗网黑话检测无关的停用词进行消除。

3.如权利要求1所述的基于知识图谱的暗网话题发现方法，其特征在于，所述通过黑话词典和文档/段落/句子的向量表示配合词向量表示，对降维后的所述暗网数据进行黑话检测识别，包括：

将采集的所述暗网数据作为黑话语料集和正常使用语料集作为训练样本进行黑话和正常使用情况下词语的词向量表示的联合训练；

将所述黑话语料集和所述正常使用语料集中的同一个词根据各自的数据集，从训练过程中的输入直到隐藏层，建立各自的权重关系，同时确保两个语料集中的词的上下文相结合，并通过隐藏层共同贡献神经网络的输出。

4.如权利要求3所述的基于知识图谱的暗网话题发现方法，其特征在于，所述训练样本还包括正常使用情况下的语料集和词语原意语料集。

5.如权利要求1所述的基于知识图谱的暗网话题发现方法，其特征在于，所述自然语言处理包括分词、命名实体识别、实体及属性对齐与消歧、事件抽取和关系抽取。

6.如权利要求5所述的基于知识图谱的暗网话题发现方法，其特征在于，所述分词用于对包含黑话的文本内容按词义进行切分，以使每一个词都有其独立的语义；

所述命名实体识别用于通过算法确定文本内容的各个实体，包括人名、地点、时间日期、机构和产品；

所述实体对齐用于通过属性相似性计算得分根据其属性信息将不同来源的实体映射到统一的实体对象上；

所述实体消歧用于对具有一词多义的实体确定其在当前上下文环境下的真正含义，实现构建知识图谱时不会发生歧义；

所述事件抽取用于将人工标注数据自动生成大规模标注数据并进行事件抽取；

所述事件关系抽取用于计算事件指称的文本语义相似度和事件类型与事件元素之间的相似度。

7.如权利要求1所述的基于知识图谱的暗网话题发现方法，其特征在于，所述节点的中心性包括度数中心度、中间中心度、接近中心度和特征值中心度。

8.如权利要求1所述的基于知识图谱的暗网话题发现方法，其特征在于，在得到最终的暗网话题之后，还包括：通过在所述事件知识图谱或所述话题知识图谱上，进行关联规则挖掘总结出逻辑规则，应用得到的所述逻辑规则进行自动推理实现对暗网话题的推理预测。

9.一种基于知识图谱的暗网话题发现系统，其特征在于，包括：

数据预处理与降维模块，包括预处理子模块和降维子模块；所述预处理子模块用于对获取的暗网数据进行web页面去重，通过算法对存在的采集了多次的同一页面的数据进行去重处理；所述降维子模块用于将去重处理后的所述暗网数据进行降维处理；

检测识别模块，用于通过黑话词典和doc2vec配合word2vec，对降维后的所述暗网数据进行黑话检测识别；知识图谱构建与话题发现模块，包括自然语言处理子模块、构建图谱子模块和话题发现子模块；所述自然语言处理子模块用于对检测到黑话后的数据进行自然语言处理，提取出弱信号数据的实体、属性、关系和事件；所述构建图谱子模块用于根据自然语言处理提取的弱信号数据构造事实三元组，构建事件知识图谱；所述话题发现子模块用于在所述事件知识图谱中通过图匹配和遍历实现弱信号数据间的关联发现，并通过所述事件知识图谱中的弱信号关联和节点中心性计算实现核心话题的发现；具体包括：计算所述事件知识图谱的中心性，得到第一话题发现结果；根据iMLDA算法对网页内容进行计算，得到第二话题发现结果；判断所述第一话题发现结果和所述第二话题发现结果中的相同数量是否超过预设的阈值，若是，则根据所述第一话题发现结果和所述第二话题发现结果中相同数量的发现结果直接确定为暗网话题；若否，则通过所述第一话题发现结果和所述第二话题发现结果及其相关的三元组构造话题知识图谱，重复计算所述话题知识图谱的中心性得到最终的暗网话题。