[发明专利]一种基于多粒度主题模型的短文本哈希学习方法

摘要

本发明公开了一种基于多粒度主题模型的短文本哈希学习方法，采用外部大规模语料库训练候选主题模型，可依据数据集类型选择最优的多粒度主题特征，并赋予权重，由该方法选择出来的多粒度主题模型有较好的区分度，在构建稀疏短文本间相似语义关联的同时有助于哈希函数学习；本发明方法采用了两种基于多主题模型的哈希学习策略，分别为多粒度主题特征融合、哈希码学习同哈希函数训练相独立的学习方法，以及多粒度主题特征独立、哈希码学习同哈希函数训练相耦合的学习方法，较基于单粒度主题特征方法，在精度和召回率等多项测评指标上均有大幅度提升。

主权项

1.一种基于多粒度主题模型的短文本哈希离线训练方法，包括以下步骤：步骤1，利用大规模语料库训练N个候选主题模型T＝{T1，T2，...，TN}，其中所述大规模语料库为外部通用的大规模语料库，N为训练得到的候选主题模型的数目，为一个正整数；步骤2，从训练集X中随机抽取一部分带有标签信息的样本基于样本间的KL散度计算N个候选主题模型对应权重μ＝{μ(T₁)，μ(T₂)，...，μ(T_N)}，并选择M个最优多粒度主题模型集合，其中，M为预先设定的最优多粒度主题模型的数目，为一个正整数；步骤3，计算训练集原始特征的TF‑IDF特征w，并进行归一化；步骤4，从最优的M个主题模型中抽取多粒度主题特征{θ1，θ2，...，θM}；步骤5，通过特征层和决策层两种学习策略之一，融合多粒度主题特征及标签信息进行哈希学习，得到训练集哈希码和哈希函数。