[发明专利]一种基于深度学习的网站主题分类方法及装置

权利要求书

1.一种基于深度学习的网站主题分类方法，其特征在于所述方法包括下述步骤：

步骤1：构建网站数据训练集；

步骤2：提取所述训练集中的类别关键字，具体包括：对所述训练集中的每个网站信息文本进行分词，基于词频-逆文本频率TF-IDF方法对每个分词进行统计，计算每个分词的词频tf_i,j：tf_i,j＝(n_i,j)/(∑_kn_k,j)，其中n_i,j表示分词i在网站信息文本j中出现的次数，∑_kn_k,j表示所有分词在网站信息文本j中出现的次数之和；计算每个分词的逆文本频率idf_i:idf_i＝log10*(|D|)/(1+|{j:i∈j}|)，其中|D|是指所述训练集中的网站信息文本总数，|{j:i∈j}|表示包含分词i的网站信息文本j的数量；计算tf_i,j与idf_i的乘积：tf_i,j*idf_i；

将网站信息文本j的所有分词按照tf_i,j*idf_i的值降序排序；

提取排序靠前的一定数量的分词作为网站信息文本j的类别关键字Keywords_j；

将上述类别关键字与用户提供的行业经验类别关键字Keywords_exp合并；

去除所述合并后的类别关键字中的停用词，构成合成类别关键字Keywords_com；

步骤3：基于所述合成关键字Keywords_com，将所述网站数据训练集的文本数值化，具体包括：

将所述每个网站信息文本j的分词i与所述合成类别关键字Keywords_com比较；

如果所述分词i为所述合成类别关键字Keywords_com中的成员，即i∈Keywords_com，则所述分词i的权重设为K3，该分词i对应的词频TF值按照如下计算公式修正：

tf_i,j修正＝tf_i,j+K3，其中，tf_i,j修正为修正后的分词i在网站信息文本j中出现的频率；

如果所述分词i不为所述合成类别关键字Keywords_com中的成员，即但所述分词i的词频高于特定阈值，并且该分词也不为停用词，则所述分词i的权重设为K2，则该分词对应的词频TF值按照如下计算公式修正：

tf_i,j修正＝tf_i,j+K2，其中，tf_i,j修正为修正后的分词i在网站信息文本j中出现的频率；

如果所述分词i不为所述合成类别关键字Keywords_com中的成员，即所述分词i的词频也不高于特定阈值，且所述分词也不为停用词，则所述分词i的权重设为K1，则该分词i对应的词频TF值按照如下计算公式修正：

tf_i,j修正＝tf_i,j+K1，其中，tf_i,j修正为修正后的分词i在网站信息文本j中出现的频率；

根据修正后的TF值，重新计算每个分词的TF值与IDF的乘积，tf_i,j*idf_i，其中，K3>>K2>>K1>0；

根据重新计算的所述每个网站信息文本的分词的TF值与IDF的乘积实现所述每个网站信息文本的数值化；

步骤4：构建网站主题分类框架模型；

步骤5：用所述网站数据训练集的数值化文本对所述网站主题分类框架模型进行训练，形成可自主分类的网站主题分类模型，实现网站主题的自动化分类。

2.如权利要求1所述的方法，其特征在于所述步骤1还包括：

收集互联网网站的原始信息作为网站数据集；

分析所述收集的网站数据集的分布特征；

选取部分网站数据集进行分类，构建所述网站数据训练集。