[发明专利]深度玻尔兹曼机模型及短文本主题分类系统和方法

摘要

本发明公开了一种深度玻尔兹曼机模型及短文本主题分类系统及方法，该模型由一层可见层和两层隐藏层组成，可见层和隐藏层包含若干随机二元单元，层与层之间存在连接，各层的节点内部相互独立；该系统包含短文本预处理模块；短文本的特征表示模块；模型训练模块；获得的文本的向量模型进行主题建模，构建主题分类器，该模块包含预训练和正式训练两个子模块；短文本分类模块；该系统及方法充分利用短文本的潜在语义信息，弥补传统短文本分类方法的不足，降低了对词语相似度的依赖，使该系统应用具有准确度高、易于实现、易于扩展以及无需人工参与的优点。

主权项

一种基于深度玻尔兹曼机模型对短文本进行主题挖掘的方法，其特征在于：由一层可见层和两层隐藏层组成，可见层和隐藏层包含若干随机二元单元，层与层之间存在连接，各层的节点内部相互独立，该方法包含以下步骤：S1，对短文本进行建模，第一层表示可见的短文本数据，第一隐藏层表示短文本隐藏的主题；S2，第二隐藏层对第一隐藏层进行优先级控制；S3，模型训练，所述的模型训练采用含有双隐藏层的深度玻尔兹曼机模型对训练集的短文本数据进行建模，构建主题分类器，含有双隐藏层的深度玻尔兹曼机是一种生成式无向概率图模型，所述的模型训练包含预训练与正式训练；所述的模型训练为将训练集中的每个短文本数据看作是模型中的可见层，对文本数据进行训练，学习出相应的模型参数，构建一个主题分类器。