[发明专利]面向迁移学习的文本处理方法及其文本特征提取方法

权利要求书

1.一种面向迁移学习的文本特征提取方法，其特征在于，该方法包括以下步骤：

第一个阶段：

针对所有训练文本进行文本特征的提取，得到候选文本特征：训练文本中既包括少量新文本也包括大量旧文本，其中新文本来源于目标领域，旧文本来源于目标领域或者其它领域，经过第一阶段的文本特征提取过程，将其中包含领域信息较少，对文本区分度不高的文本特征过滤掉；

对训练文本中包含的所有候选文本特征，计算其权值并排序，提取前面若干个作为第一阶段提取的文本特征，第一阶段提取的文本特征数量α*K个文本特征应该大于最终期望得到的数量，α>1；

第二个阶段：

对从第一阶段提取的α*K个文本特征t在新、旧文本中的分布进行度量，以判断某个文本特征在新、旧文本中的重要程度；采用公式（1）和（2）分别逐一计算α*K个文本特征t在新、旧文本中的分布；

w_same(t，C_same)=f(t，C_same)*n(t，C_same)/N(C_same)（1）

w_dif(t，C_dif)=f(t，C_dif)*n(t，C_dif)/N(C_dif)（2）

其中，C_same和C_dif分别表示训练文本中的新、旧文本，f(t，C_same)和f(t，C_dif)分别表示文本特征t在新、旧文本中出现的次数，n(t，C_same)和n(t，C_dif)分别表示新、旧文本中出现文本特征t的文本数，N(C_same)和N(C_dif)分别为新、旧文本中的文本总数，w_same(t，C_same)和w_dif(t，C_dif)分别表示文本特征t在新、旧文本中的分布。

再根据上述公式（2）和公式（3）的计算结果，逐一代入公式（3），计算文本特征t的权值

max{w_same(t，C_same),w_dif(t，C_dif)}/min{w_same(t，C_same),w_dif(t，C_dif)}（3）

将这α*K个文本特征按权重排序，选取权重最小的K个文本特征；所得到的这K个文本特征即按本发明方法提取的文本特征。

2.如权利要求1所述的面向迁移学习的文本特征提取方法，其特征在于，所述α取值为2。