[发明专利]一种确定网站类型的方法及其系统

权利要求书

1.一种确定网站类型的方法，其特征在于，包括：

获取待检测网站的第一文本数据；

利用N个种子点对N种网站类型的第二文本数据进行聚类处理获得对应的N个聚类，其中N个种子点与所述N种网站类型一一对应；

获取所述N个聚类中每个聚类的第三文本数据，其中，所述第三文本数据为所述每个聚类对应的文本数据中与所述每个聚类对应的种子点的相似度排名前n的文本数据，其中n为正整数；

根据所述N个聚类中每个聚类的第三文本数据，确定N个关键词字典，其中，所述N个关键词字典与所述N种网站类型一一对应，所述N个关键词字典中每个关键词字典包括多个关键词，以及和各关键词对应的词频值，N为正整数；

根据所述每个关键词字典中关键词的词频值和关键词的筛选策略，得到每个所述关键词字典对应的关键词集合；

根据N个关键词集合中每个关键词在所述第一文本数据中出现的频次，

以及所述N个关键词集合中每个关键词集合中的每个所述关键词的权重值，确定所述待检测网站的类型；

其中，所述N个关键词集合与N种网站类型一一对应，所述N个关键词集合中第b个关键词的权重值由下列参数确定：所述第b个关键词所属网站类型对应的第三文本数据中包含所述第b个关键词的第三文本数据的数量、所述第b个关键词所属网站类型对应的第三文本数据中包含的所述第b个关键词的总个数、N种网站类型对应的所有第三文本数据中包含的所述第b个关键词的总个数以及所述第b个关键词在所述N个关键词集合中出现的次数，所述第b个关键词为所述N个关键词集合中的一个关键词。

2.根据权利要求1所述的方法，其特征在于，所述根据所述每个关键词字典中关键词的词频值和所述关键词的筛选策略，得到每个所述关键词字典对应的所述关键词集合，包括：

所述关键词的筛选策略为：

若所述关键词的词频值在当前的所述关键词字典中的排名属于前M％，则将所述关键词加入当前的所述关键词字典对应的关键词集合；

若所述关键词在当前的所述关键词字典中词频值排名不属于前M％，且所述关键词不属于目标关键词字典，则将所述关键词加入当前的所述关键词字典对应的所述关键词集合，其中，所述目标关键词字典为所述N个关键词字典中除当前的所述关键词字典外的所有关键词字典，M为正整数。

3.根据权利要求1所述的方法，其特征在于，所述N个关键词集合中每个关键词的权重值为通过如下方式确定：

使用下式确定第b个关键词的权重值：

其中，p为所述第b个关键词所属网站类型对应的第三文本数据中包含所述第b个关键词的第三文本数据的数量，w为所述第b个关键词在所属网站类型对应的第三文本数据中包括的所述第b个关键词的总个数，q为所述N种网站类型对应的所有第三文本数据中包括的所述第b个关键词的总个数，m为所述第b个关键词在所述N个关键词集合中出现的次数，X为初始权重值常数。

4.根据权利要求1所述的方法，其特征在于，所述根据N个关键词集合中每个关键词在所述第一文本数据中出现的频次，以及所述N个关键词集合中每个关键词集合中的每个所述关键词的权重值，确定所述待检测网站的类型，包括：

获取所述第一文本数据在所述N个关键词集合中的每个关键词集合的加权值，其中，所述第一文本数据在所述N个关键词集合中关键词集合j的加权值由下式确定：

W_j＝∑_{i∈j；j∈D}Y_ji*x_ji，

其中，i是所述关键词集合j中的任一个关键词；j表示所述N个关键词集合中的任一个关键词集合；D表示所有关键词集合；Y_ji表示关键词i的权重值大小；x_ji表示所述关键词i在所述第一文本数据中出现的频次；

根据所述第一文本数据分别在所述每个关键词集合的加权值，确定所述待检测网站的类型。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一文本数据分别在所述每个关键词集合的加权值，确定所述待检测网站的类型，包括：

若各所述加权值的最大值是唯一的，则将所述最大值对应的所述关键词集合所对应的网站类型确定为所述待检测网站的类型。