[发明专利]用于神经主题建模中的多视图和多源迁移的方法和系统

说明书

本发明涉及神经主题建模（NTM）的计算机实现方法、相应的计算机程序、计算机可读介质和数据处理系统。在NTM的方法中利用具有或不具有多源迁移（MST）的全局视图迁移（GVT）或多视图迁移（MTV），多视图迁移（MTV）即联合应用的GVT和局部视图迁移（LVT）。针对GVT，准备隐主题特征的预训练的主题知识库（KB），并且通过GVT经由在主题KB的相关隐主题特征的指导下学习有意义的隐主题特征来将知识迁移到目标。这是通过扩展损失函数并且最小化经扩展的损失函数来实现的。此外，针对MVT，附加地准备单词嵌入的预训练的单词嵌入KB，并且通过LVT经由在单词嵌入KB的相关单词嵌入的指导下学习有意义的单词嵌入来将知识迁移到目标。这是通过扩展用于计算预激活的项来实现的。

本发明涉及一种神经主题建模（NTM）的计算机实现方法、以及相应计算机程序、相应计算机可读介质和相应数据处理系统。特别地，在NTM的方法中利用具有或不具有多源迁移（MST）的全局视图迁移（GVT）或多视图迁移（MTV），在多视图迁移（MTV）中，联合地应用GVT和局部视图迁移（LVT）。

概率主题模型，诸如LDA（Blei et al.，2003，Latent dirichlet allocation.Journal of Machine Learning Research，3：993-1022）、复制的Softmax（RSM）（Salakhutdinov and Hinton，2009，Replicated softmax：an undirected topic model.In Advances in Neural Information Processing Systems 22：23rd AnnualConference on Neural Information Processing Systems，pages 1607-1614. CurranAssociates，Inc.）和文档神经自回归分布估计器（DocNADE）（Larochelle and Lauly，2012，A neural autoregressive topic model. In Advances in Neural InformationProcessing Systems 25：26th Annual Conference on Neural Information ProcessingSystems，pages 2717-2725）经常用于从文本集合中提取主题，并且学习隐文档表示来执行自然语言处理任务，诸如信息检索（IR）。尽管它们已经在对大型文本语料库进行建模方面被示出是强大的，但是主题建模（TM）仍然是具有挑战性的，尤其是在数据稀疏的设置中（例如，在短文本或少量文档的语料库上）。