[发明专利]用于神经主题建模中的多视图和多源迁移的方法和系统

权利要求书

1.一种在给定单词v_i（i = l...D）的文档v的情况下、针对目标T的概率或神经自回归主题模型使用全局视图迁移GVT的自回归神经网络NN中的神经主题建模NTM的计算机实现方法，包括以下步骤：

- 准备（3）隐主题特征的预训练的主题知识库KB，其中k指示隐主题特征的源S^k（k≥1）的数量，H指示隐主题的维度，并且K指示词汇大小；

- 通过GVT经由在主题KB的相关隐主题特征Z^k的指导下学习有意义的隐主题特征来将知识迁移（4）到目标T，包括如下子步骤：

- 利用包括经加权的相关隐主题特征Z^k的正则化项来扩展（4a）目标T的文档v的概率或神经自回归主题模型的损失函数，以形成经扩展的损失函数，该损失函数是自回归NN中的每个单词v_i的联合概率的负对数似然，每个单词v_i的该概率基于前面的单词v_i；

以及

- 最小化（5）经扩展的损失函数以确定最小总体损失。

2.根据权利要求1所述的计算机实现方法，其中所述概率或神经自回归主题模型是DocNADE架构。

3.根据权利要求1或2所述的计算机实现方法，通过附加地使用局部视图迁移LVT来使用多视图迁移MVT，进一步包括如下主要步骤：

- 准备（1）单词嵌入的预训练的单词嵌入KB，其中E指示单词嵌入的维度；

- 通过LVT经由在单词嵌入KB的相关单词嵌入E^k的指导下学习有意义的单词嵌入来将知识迁移（2）到目标T，包括如下子步骤：

- 利用经加权的相关隐单词嵌入E^k来扩展（2a）用于计算目标T的概率或神经自回归主题模型的预激活a的项，以形成经扩展的预激活a_ext，该预激活a控制每个单词v_i的概率中的前面单词的自回归NN的激活。

4.根据权利要求1至3中任一项所述的计算机实现方法，使用多源迁移MST，其中主题KB的隐主题特征和/或单词嵌入KB的单词嵌入源自多于一个源S^k（k 1）。

5.一种包括指令的计算机程序，所述指令在计算机执行所述程序时使所述计算机执行根据权利要求1至4中任一项所述的方法的步骤。

6.一种计算机可读介质（20），其上存储有根据权利要求5所述的计算机程序。

7.一种数据处理系统（30），包括用于执行根据权利要求1至4中任一项所述的方法的步骤的装置（31、32）。