[发明专利]互联网段落级话题识别系统

说明书

技术领域

本发明涉及一种互联网话题识别系统，尤其涉及一种互联网段落级话题识别系统。 

背景技术

目前，互联网的发展日新月异，但互联网文本的语义分析与商业情报提取主要依赖于对文本话题的识别，而一般的文本语义分析以篇章为单位，很难适应微博兴起之后的互联网文本分布情况。在微博逐渐兴起之时，微博生产数据的能力超乎想象，占可提取情报的比重也越来越大，但是微博的文本有段落化与碎片化等特点，这些短小文本用一般的语义分析技术已经很难应对，主要表现为：语言特征段、语义段落、去中心化、以前的信息组织方式相对有序的，分门别类的；造成微博之间联系性较低。 

发明内容

为了克服上述现有技术的缺陷，本发明提供了一种段落级语义分析，能支持多个数据库、文件系统、互联网等多种分析目标的一种互联网段落级话题识别系统。 

本发明通过以下方案实现的，一种互联网段落级话题识别系统，其特征在于：包括网络蜘蛛模块、文本段落切片模块、语义分析与标注模块、维度识别模块、LSA分析模块、语义化文本描述模块、业务表现模块和UI模块八个模块。 

其中：1、网络蜘蛛模块，根据情报搜集与分析目标，通过网络蜘蛛模块，利用网络蜘蛛，采集各类信息，并丢入存储系统(默认存储系统为分布式存储系统hadoop系统)。 

2、文本段落切片模块，文本段落切片模块对文本向段落切割，使以文本文档形式的文本数据转化为统一格式的段落。 

3、语义分析与标注模块，语义分析与标注模块实现段落分词后，通过本体和语法规则，对分词后的段落内的词或词组进行语义标注，通过这种词汇向语义概念的转换(段落语义次回话描述体系)，将段落从文本转变为概念组合体，以便于进行相应语义计算，抽取语义维度以及维度强度。 

4、维度识别模块是维度标注段落的程序，实现段落的维度标注工作。 

5、LSA分析模块，LSA分析模块首先在做好语料库的上进行潜在语义分析(LSA)，分解后得到三个矩阵SVD，用S、D矩阵作为计算段落间关联度计算、话题见关联度、维度独立性计算。 

6、语义化文本描述模块，是在各个语义段落做完段落级语义分析之后，对整个文本文档汇总语义信息和语义维度化描述该文档的模块。 

7、业务表现模块，是情报系统内核的Shell。它将用户的情报需求逻辑表达给系统，生成执行脚本；另一方面，它根据执行脚本，调用情报系统的核心执行模块，以实现用户的情报收集与分析的需求。它的存在，使得本系统将极大减少二次开发的必要性，降低使用复杂程度，以便于推广和维护。 

8、UI模块，分为两大类，一类为用户根据实际情报搜集和分析的需求，将这种需求表达给系统的UI；另一类是提供给情报最终消费者的UI。 

综上所述，本发明具有以下有益效果：本发明由于运用话题识别与语义维度分析、对特定文本集自动话题抽取和定义、识别文本与特定话 题之间的关联强度、识别文本之间在话题层面的交叉、相似等关系特定的技术手段，因此具有可与操作人员交互并纠偏、在线离线相结合，计算速度快；支持多个数据库、文件系统、互联网等多种分析目标等功能。 

附图说明

图1为本发明系统总体框图 

图2为本发明网络蜘蛛模块流程图 

图3为本发明文本段落切片模块流程图 

图4为本发明语义分析与标注模块流程图 

图5为本发明维度识别模块流程图 

图6为本发明网络蜘蛛模块流程图 

图7为本发明语义化文本描述模块流程图 

图8为本发明业务表现模块流程图 

图9为本发明用户UI模块流程图 

具体实施方式

本发明通过以下方案实现的，一种互联网段落级话题识别系统，包括网络蜘蛛模块、文本段落切片模块、语义分析与标注模块、维度识别模块、LSA分析模块、语义化文本描述模块、业务表现模块和UI模块八个模块。 

其中：1、网络蜘蛛模块。根据情报搜集与分析目标，利用网络蜘蛛，采集各类信息，并丢入存储系统(默认存储系统为分布式存储系统hadoop系统)。 

2、文本段落切片模块。对文本向段落切割，使以文本文档形式的文本数据转化为统一格式的段落。