[发明专利]一种公开文本情报的内容冲突检测方法及系统

说明书

本发明公开了一种公开文本情报的内容冲突检测方法及系统。方法包括：建立公开文本情报数据集；提取关键词，构建关键词共现矩阵；对关键词共现矩阵进行二值化处理，建立关键词共现网络；提取所述关键词共现网络中的成分，获得成分数据集；对每一成分进行判断，判断是否存在内容冲突，并确定存在冲突的内容，本发明的方法，运用关联分析直接对公开文本情报中的内容进行检测和判断，无需对公开文本数据进行结构化描述和存储，减小了计算量，克服了因结构化的知识库更新无法与实时性非常强的大数据的公开文本情报同步，造成内容冲突检测准确性差的技术缺陷，实现了具有大数据特点的公开文本情报的内容冲突的检测。

技术领域

本发明涉及公开文本情报应用领域，特别涉及一种公开文本情报的内容冲突检测方法及系统。

背景技术

公开情报，又称为开源情报，是指从公众媒体(如报纸/刊物、互联网、自媒体平台等)上收集和挖掘的情报，情报内容以非结构化数据为主，包括数字、文本、图片、视频等。

公开文本情报，是指从公众媒体(如报纸/刊物、互联网、自媒体平台等) 上收集和挖掘的文本格式的情报数据。

内容冲突，是指在相同的问题情境中针对同一主题特征的描述存在不一致或者互相矛盾的情形。

公开文本情报具有获取成本低、数据来源渠道广泛、数据实时性好等相对优势，在军事情报保障、企业竞争战略研判等领域具有广泛的应用价值和效益。同时，随着自媒体技术的进步、互联网的普及等，公开文本情报呈现出大数据特点，即数据量以惊人地速度增长、数据产生具有多源特征、数据传播过程多渠道并行且交杂繁复等，海量的公开文本情报中不可避免地存在着冲突内容，使得公开文本情报的分析和利用变得困难；而潜在竞争对手有意识的信息误导更是加重了该问题的严重性。因此，公开文本情报高效、准确地应用的第一步就是冲突内容的检测和发现。

冲突内容是制约公开文本情报数据质量的关键性因素，潜在的冲突内容如果得不到及时、有效的检测发现和消除，将导致公开文本情报大数据分析结果的不可靠，降低其应用价值。当前，针对文本数据的内容冲突检测主要面向小规模及中等规模数据，且主要应用于检测和发现元数据或者结构化数据冲突。

例如，中国电子科技集团公司第二十研究所张可人提出网络管控系统中指令内容冲突检测方法，该方法包括以下步骤：

1.统计网络管控系统在内容上互斥的指令；

2.建立多个互斥指令集，每一互斥指令集中的各指令均为互斥；

3.设定指令间隔时间阈值t；

4.对同一设备在间隔时间为t的时间段内收到的指令进行记录，如果存在 2条及以上指令在同一互斥指令集中，则指令内容冲突发生；否则，无指令内容冲突。

再如，赵晓非、黄志球提出基于描述逻辑的CWM(公共仓库元模型，简称CWM)元数据冲突检测方法，该方法包括以下步骤：

1.建立一种支持概念之上的同一性约束的描述逻辑DL_id；

2.应用描述逻辑DL_id将CWM元数据形式化，建立DL_id知识库；

3.定义描述逻辑查询语言需求集合；

4.依据描述逻辑查询语言需求，建立如下格式的查询语言：

5.应用nRQL查询DL_id知识库，发现内容冲突。