[发明专利]一种智能语义分析与文本挖掘方法

摘要

本发明公开了一种智能语义分析与文本挖掘方法，包括如下步骤大量网站进行批量抓取通过对不同数据源进行分类，对大量网站进行高效的数据抓取，对所获取的语义文本进行预处理，建立文档向量空间模型以后，能够利用向量相似性函数计算文档之间的相似性程度，其中距离函数是通过使用文档向量空间模型，通过文本内积空间的性质得到任意文本间的相似关系度量，并对与语义文本存在相似关系度的主体关键词进行提取，然后再次输入辅助关键词，从而筛选出具备独特性的重要主题词，进行不同的关键词排序，分别为基于关键词覆盖和关键词相似度的形式进行排序。本发明能够对互联网的管理以及运行的检察，保证了其的健康稳定发展。

主权项

一种智能语义分析与文本挖掘方法，其特征在于，包括以下步骤：S1：大量网站进行批量抓取：通过对不同数据源进行分类，通过简单的配置的方式在短时间内，对大量网站进行高效的数据抓取，避免了繁杂的开发量，提高了开发成本；S2：对S1中所获取的语义文本进行预处理，且预处理包括以下步骤：(1)、样本的选择：选择能够明确代表各类别信息的样本；(2)、语义文本表示模型：利用(1)中的样本对非结构化的语义文本记性转化成分类算法，从而能够对语义文本进行表示方式的转换；(3)、特征分类：对(2)转换后的语义文本根据其的特征进行分类，并利用分类模型的算法将语义文本特征映射出其的类别；S3：对S2中处理后的文本进行分析建模：建立文档向量空间模型以后，能够利用向量相似性函数计算文档之间的相似性程度，刻画文档之间的相似度主要有以下两类函数，距离函数和相似系数，其中距离函数是通过使用文档向量空间模型；S4：以词作为语义文本的组成，来构建文本的内积空间，通过文本内积空间的性质得到任意文本间的相似关系度量，并对与语义文本存在相似关系度的主体关键词进行提取；S5：挖掘出主题词信息后，该主体关键词往往产生庞大的主题词信息量，然后再次输入辅助关键词，从而筛选出具备独特性的重要主题词；S6：根据所需求的不同，对关键词重要性的需求也不同，然后关键词排序的出发点也随之变化，有对关键词的重要性定义存在差异，为满足不同角度排序的需求，进行不同的关键词排序，分别为基于关键词覆盖和关键词相似度的形式进行排序。