[发明专利]一种基于数据挖掘的文本数据网络构建系统

说明书

本发明公开了一种基于数据挖掘的专业领域人际网络构建系统，包括数据采集模块、数据挖掘模块、人际网络构建模块、可视化展示模块和数据库：数据采集模块接收新增文本数据，并对文本数据依次进行分词；数据挖掘模块提取数据库中经过分词处理的新增文本数据的特征值，并与数据库中已经存储的、已提取特征值的文本数据进行比对，取与新增文本数据特征值最相近的数据进行关联映射；人际网络构建模块以数据采集模块接收到的文本数据发送者为文件名称，以新增文本数据名称、进行关联映射的数据名称以及关联映射数据对应的数据发送者为文件属性，构建文件，形成人际网络本体库；可视化展示模块，解析文件对应的数据，并使用线段、节点方式展现。

技术领域

本发明涉及一种基于数据挖掘技术的文本数据网络构建系统。

背景技术

专家知识是企业的宝贵资源，而专家的知识主要以文本数据的形式体现。因此，对专家知识的管理即为对专家创造的文本数据的管理。目前，对专家知识的管理手段分为两方面，一方面，构建专家黄页或专家地图，但该种方法以专家自身申报的研究领域为关联点，对专家研究方向的定位过于宽泛，不易于掌握专家精准的研究技术，也忽略了专家研究领域的多样性、细微性以及研究方向的动态变更或调整；另一方面，采用文本分析技术对专家研究成果进行智能分析，自动分析专家研究领域，该种方法虽然有利于精确掌握专家的研究方向，但仅关注于专家本身，忽视了专家与专家之间的关联程度，未实现同领域、同方向、同技术点专家群体的聚合分析。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种基于数据挖掘技术的文本数据网络构建系统，实现专家研究领域的精准分析与专家之间关系的准确关联，为企业智力资产的精细化、系统化管理提供手段。

本发明的技术解决方案是：

一种基于数据挖掘的专业领域人际网络构建系统：数据采集模块、数据挖掘模块、人际网络构建模块、可视化展示模块和数据库：

数据采集模块，接收系统外部发送的新增文本数据，记录数据发送者信息，并对文本数据依次进行分词，将分词后的数据存储于数据库；

数据挖掘模块，提取数据库中经过分词处理的新增文本数据的特征值，并与数据库中已经存储的、已提取特征值的文本数据进行比对，取与新增文本数据特征值最相近的数据进行关联映射；

人际网络构建模块，根据数据之间的关联映射关系，以数据采集模块接收到的文本数据发送者为文件名称，以新增文本数据名称、进行关联映射的数据名称以及关联映射数据对应的数据发送者为文件属性，构建文件，形成人际网络本体库；

可视化展示模块，接收人际网络构建模块发送的人际网络本体库，解析文件对应的数据，并使用线段、节点方式展现。

数据采集模块，读取发送的新增文本数据后，为每一条数据进行命名和生成唯一ID，所述的新增文本数据命名采用新增文本数据ID+新增文本数据上传人ID+新增文本数据名称的格式；

数据采集模块，采用隐马尔科夫模型对新增数据进行分词，识别并去除分词结果约定的人名、地名和机构名，以空格作为分词结果的分隔符，将分词结果以.txt文件格式保存；

数据采集模块，对分词.txt文件进行格式转换，生成.xml文件，存入分词结果数据库，.xml文件包含分词结果、新增文本数据ID、新增文本数据上传人ID、新增文本数据名称。

数据挖掘模块提取数据库中的新增文本数据的特征值的具体方式如下：

数据挖掘模块，将新生成的分词结果与数据库已经存储的历史分词数据进行逐一比对，统计出各分词出现的次数D，将满足Dmin<D<Dmax的分词，作为特征词t_p，其中Dmax表示预设的分词出现的最高阈值，Dmin表示预设的分词出现的最低阈值；