[发明专利]基于类标关系的短文本扩充方法

权利要求书

1.一种基于类标关系的短文本扩充方法，其特征在于，包括以下步骤：

(1)对于给定的初始短文本数据集，构建类标文本集合；

(2)提取类标文本的特征；

(3)根据提取的特征，并计算不同的类标文本的相似度；

(4)设定阈值，对类标文本进行聚类，形成类标文本簇；

(5)提取类标文本簇的特征；

(6)根据提取的类标文本簇的特征，从外部语料信息中筛选辅助数据集；

(7)针对不同类标的辅助数据集进行主题挖掘，获取辅助数据集的主题信息；

(8)将初始短文本数据集中的短文本在对应类标的辅助数据集进行主题推断；

(9)根据推断结果为初始短文本数据集扩充带有类标信息的主题编号；

(10)得到扩充后的短文本集。

2.根据权利要求1所述的基于类标关系的短文本扩充方法，其特征在于，在步骤(2)中，对类标文本的特征提取方法采用tf-idf算法，所述tf-idf算法为：

假设类标文本集合中共有D个类标文本，针对当前的类标文本d_j中某一个特定词语在d_j中出现的频率为：

tfi,j=ni,jΣknk,j]]>

其中，n_i,j是该特定词语在d_j中出现的次数，分母表示d_j中出现的所有词语的出现次数之和，其中D为自然数，k是变量；

针对该特定词语的idf_i则为：

idfi=log|D||{m:ti∈dm}|]]>

其中，|D|是类标文本集合中的文本总数，|{m:t_i∈d_m}|是指类标文本集合中包含词语t_i的文本数目，d_m表示第m个类标文本；

所述特定词语在所述类标文本d_j中的权重为：tfidf_i,j＝tf_i,j×idf_i。