[发明专利]一种智能语义分析与文本挖掘方法

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种智能语义分析与文本挖掘方法。

背景技术

随着互联网技术的飞速发展，如何对互联网信息进行有效监管成为各级网信部门亟待解决的重大课题，尤其是自媒体和新媒体技术手段不断发展变化，给网上舆论引导和信息管控提出了严峻挑战，必须不断适应新的形势变化，改进网信部门技术手段和工作平台。而现有技术中，并没有专门对其进行管理以及处理的方法，造成了其内部存在着漏洞，严重损害着互联网的健康发展，为此，我们提出了一种智能语义分析与文本挖掘方法。

发明内容

本发明提出了一种智能语义分析与文本挖掘方法，以解决上述背景技术中提出的问题。

本发明提出了一种智能语义分析与文本挖掘方法，包括如下步骤：

S1：大量网站进行批量抓取：通过对不同数据源进行分类，通过简单的配置的方式在短时间内，对大量网站进行高效的数据抓取，避免了繁杂的开发量，提高了开发成本；

S2：对S1中所获取的语义文本进行预处理，且预处理包括以下步骤：

(1)、样本的选择：选择能够明确代表各类别信息的样本；

(2)、语义文本表示模型：利用(1)中的样本对非结构化的语义文本记性转化成分类算法，从而能够对语义文本进行表示方式的转换；

(3)、特征分类：对(2)转换后的语义文本根据其的特征进行分类，并利用分类模型的算法将语义文本特征映射出其的类别；

S3：对S2中处理后的文本进行分析建模：建立文档向量空间模型以后，能够利用向量相似性函数计算文档之间的相似性程度，刻画文档之间的相似度主要有以下两类函数，距离函数和相似系数，其中距离函数是通过使用文档向量空间模型；

S4：以词作为语义文本的组成，来构建文本的内积空间，通过文本内积空间的性质得到任意文本间的相似关系度量，并对与语义文本存在相似关系度的主体关键词进行提取；

S5：挖掘出主题词信息后，该主体关键词往往产生庞大的主题词信息量，然后再次输入辅助关键词，从而筛选出具备独特性的重要主题词；

S6：根据所需求的不同，对关键词重要性的需求也不同，然后关键词排序的出发点也随之变化，有对关键词的重要性定义存在差异，为满足不同角度排序的需求，进行不同的关键词排序，分别为基于关键词覆盖和关键词相似度的形式进行排序。

优选的，对全网数据所采集的语义文本进行数据分析服务，对情感分析，内容分类和聚合的关键技术进行分析，分析具体包括信息分类和聚合，多维呈现,情感计算方面。

优选的，在S4中通过语义文本内积空间的性质得到任意关键词间的相似关系度量，然后，根据关键词由概念组成的特点，推导关键词的相似关系度量。

本发明提出的一种智能语义分析与文本挖掘方法，有益效果在于：该智能语义分析与文本挖掘方法能够对互联网所产生的文本以及关键词进行采集，并经过分析得到该是否为正常关键词，还能够对文本内的关键词记性挖掘，以扩大其的监测范围，有效提高了对互联网的管理以及运行的检察，保证了其的健康稳定发展。

具体实施方式

下面结合具体实施例来对本发明做进一步说明。

本发明提出了一种智能语义分析与文本挖掘方法，包括如下步骤：

S1：大量网站进行批量抓取：通过对不同数据源进行分类，通过简单的配置的方式在短时间内，对大量网站进行高效的数据抓取，避免了繁杂的开发量，提高了开发成本；

S2：对S1中所获取的语义文本进行预处理，且预处理包括以下步骤：

(1)、样本的选择：选择能够明确代表各类别信息的样本；

(2)、语义文本表示模型：利用(1)中的样本对非结构化的语义文本记性转化成分类算法，从而能够对语义文本进行表示方式的转换；

(3)、特征分类：对(2)转换后的语义文本根据其的特征进行分类，并利用分类模型的算法将语义文本特征映射出其的类别；

S3：对S2中处理后的文本进行分析建模：建立文档向量空间模型以后，能够利用向量相似性函数计算文档之间的相似性程度，刻画文档之间的相似度主要有以下两类函数，距离函数和相似系数，其中距离函数是通过使用文档向量空间模型；

S4：以词作为语义文本的组成，来构建文本的内积空间，通过文本内积空间的性质得到任意文本间的相似关系度量，并对与语义文本存在相似关系度的主体关键词进行提取，通过语义文本内积空间的性质得到任意关键词间的相似关系度量，然后，根据关键词由概念组成的特点，推导关键词的相似关系度量；