[发明专利]数据处理的方法及计算设备

权利要求书

1.一种数据处理的方法，其特征在于，外部存储器中的大规模词包矩阵能够分割成A个词包矩阵，所述A个词包矩阵中的第s个词包矩阵表示为X^s_Ws×Ds，A和s为正整数，s＝1,2,…,A，所述词包矩阵的行表示单词表索引，列表示文档索引，所述方法包括：

处理器将所述外部存储器中的第s＝1个词包矩阵X¹_W1×D1读取至内存；

根据所述第s＝1个词包矩阵X¹_W1×D1，随机初始化第一消息矩阵；

根据所述随机初始化的第一消息矩阵，采用期望最大化EM算法，确定第一单词-主题矩阵；

释放所述内存中由所述第s＝1个词包矩阵X¹_W1×D1、第一消息矩阵和EM算法产生的第一文档-主题矩阵占用的空间，保留所述第一单词-主题矩阵并缓存在所述内存中；

依次地对s>1的第s个词包矩阵X^s_Ws×Ds，更新所述第一单词-主题矩阵；

其中，Ws为所述第s个词包矩阵X^s_Ws×Ds的单词表中的单词数，Ds为所述第s个词包矩阵的文档数。

2.根据权利要求1所述的方法，其特征在于，所述对s>1的第s个词包矩阵X^s_Ws×Ds，更新所述第一单词-主题矩阵，包括：

将所述外部存储器中的第s个词包矩阵X^s_Ws×Ds读取至所述内存；

基于第s-1个词包矩阵所确定的第一单词-主题矩阵，获取与所述第s个词包矩阵X^s_Ws×Ds对应的第二单词-主题矩阵，所述第二单词-主题矩阵中的单词与所述第s个词包矩阵X^s_Ws×Ds的单词表中的单词一致；

根据所述第s个词包矩阵X^s_Ws×Ds，随机初始化第二文档-主题矩阵；

根据所述随机初始化的第二文档-主题矩阵和所述第二单词-主题矩阵，采用EM算法，确定更新后的第一单词-主题矩阵；

释放所述内存中由所述第s个词包矩阵X^s_Ws×Ds、第二文档-主题矩阵和EM算法产生的第二消息矩阵占用的空间，保留所述更新后的第一单词-主题矩阵并缓存在所述内存中。

3.根据权利要求2所述的方法，其特征在于，所述基于第s-1个词包矩阵所确定的第一单词-主题矩阵，获取与所述第s个词包矩阵X^s_Ws×Ds对应的第二单词-主题矩阵，包括：

根据所述第s个词包矩阵X^s_Ws×Ds的单词表中的单词的索引，从所述第s-1个词包矩阵所确定的所述内存中缓存的第一单词-主题矩阵中，获取与所述单词的索引对应的所述第二单词-主题矩阵。

4.根据权利要求3所述的方法，其特征在于，所述基于第s-1个词包矩阵所确定的第一单词-主题矩阵，获取与所述第s个词包矩阵X^s_Ws×Ds对应的第二单词-主题矩阵，还包括：

当所述内存中缓存的第一单词-主题矩阵的单词表中不包括所述第s个词包矩阵X^s_Ws×Ds的单词表中的第一单词时，从所述外部存储器中的单词-主题矩阵X_K×W中，获取与所述第一单词的索引对应的元素，并将所述与所述第一单词的索引对应的元素作为所述第二单词-主题矩阵中的对应元素；

其中，W为所述大规模词包矩阵的单词表中的单词数，K为主题数。