[发明专利]财经领域非结构化文本数据的挖掘、搜索方法与系统

说明书

本发明公开了一种财经领域非结构化文本数据的挖掘、搜索方法与系统，提供一种财经领域非结构化文本数据的命名实体识别、实体间关联关系挖掘、以及关联关系网络构建及利用的方案，主要针对财经领域信息提取、命名实体识别、关联关系挖掘、关联网络的构建及利用；所述系统包括数据采集模块、数据清洗模块、数据预处理模块、关联挖掘模块、关联图谱构建模块和复杂网络分析模块。本发明不仅能完成基本的数据分析和信息提取工作，还能使用挖掘出的信息构建经济图谱，并使用经济图谱挖掘深层信息和隐含关联，使数据具有更直观的可读性和利用价值。

技术领域

本发明涉及数据处理技术领域，更为具体地，涉及一种财经领域非结构化文本数据的挖掘、搜索方法与系统。

背景技术

当前大数据时代，与经济活动相关的数据与信息爆炸性增长形成了面向经济领域的巨量文本大数据，面对巨量文本信息人工分析已经变得不再可能。

公开号为CN103955542B的中国授权专利公开了一种文本词间完全加权正负关联模式挖掘方法及其挖掘系统，利用中文文本预处理模块进行预处理，构建文本数据库和特征词项目库；利用特征词频繁项集和负项集挖掘实现模块从文本数据库中挖掘完全加权特征词候选项集，计算权重维数比，采用多兴趣度阈值剪枝策略剪除无趣的项集，得出有趣的完全加权特征词频繁项集和负项集模式；利用完全加权词间正负关联规则挖掘实现模块从频繁项集和负项集中挖掘有效的完全加权特征词正负关联规则模式，利用完全加权词间关联模式结果显示模块将挖掘到的正负关联规则模式输出给用户。该发明能够大幅度减少不必要的频繁项集、负项集和关联规则模式产生，提高中文特征词关联规则挖掘效率，获得高质量的中文词间关联模式。但是，仍然存在缺陷，不能利用关联网络构建图谱进行深层信息和隐含关联信息的挖掘等。

传统的自然语言处理中只能获得浅层信息，并不能提取到文本中的深度信息及实体之间的隐含关联。从大规模数据中构建的关联关系网络是一个复杂网络，具有稀疏性、不可读性，不能直接利用，也不能直观的表示挖掘出的结果，并且只能做基本的查询搜索，并不能充分利用关联关系网络。

发明内容

本发明的目的在于克服现有技术的不足，提供一种财经领域非结构化文本数据的挖掘、搜索方法与系统，使数据具有更直观的可读性和利用价值。

本发明的目的是通过以下技术方案来实现的：一种财经领域非结构化文本数据的挖掘方法，包括：

S1，采集数据，从互联网指定财经领域爬取数据；

S2，清洗数据，以去掉在爬取过程中没有剔除的CSS字段或者段落标签，然后存入数据库；

S3，预处理数据，读取存储在步骤S2中数据库中的数据，对所获取数据的正文中的句子做分词处理和命名实体识别处理，并将处理后的信息保存到数据库中；

S4，挖掘关联关系，挖掘命名实体之间的关联关系；

S5，构建关联图谱，使用挖掘出的关联关系构建关联图谱，使用命名实体作为顶点，关联关系作为两个顶点之间的边构建关联网络；

S6，挖掘关联图谱中的关键节点、关键路径以及任意两点之间的最短路径。

进一步地，包括可视化步骤S7；

S7，接收数据，展示步骤S5中的关联网络、步骤S6中的关键节点、关键路径以及任意两点之间的最短路径。

进一步地，在步骤S3中，基于实体名称语义相似度以及实体共现挖掘实体之间的关联。

进一步地，在步骤S4中，衡量实体关联关系网络中关系的紧密程度，给定一个中心点，与中心点直接相连的为一度节点，与一度节点相连的为二度节点。