[发明专利]一种基于改进卷积神经网络的文本分类方法、装置和设备有效
申请号: | 201910740474.2 | 申请日: | 2019-08-12 |
公开(公告)号: | CN110457703B | 公开(公告)日: | 2022-12-30 |
发明(设计)人: | 杨祖元;黄昊楠;陈禧琛;李珍妮 | 申请(专利权)人: | 广东工业大学 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F40/289;G06F40/30;G06N3/04;G06N3/08 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 黄忠;沈闯 |
地址: | 510060 广东省*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 改进 卷积 神经网络 文本 分类 方法 装置 设备 | ||
1.一种基于改进卷积神经网络的文本分类方法,其特征在于,包括:
将预置文本数据集进行预处理得到初始矩阵;
对所述初始矩阵依次进行下采样、去均值和第一按列重构处理得到数据矩阵;其中,所述第一按列重构处理是指将去均值后的所述初始矩阵按列重排成矩阵,所述去均值是指将所述初始矩阵的各元素都减去所有元素的和的平均值;
将所述数据矩阵初始化分解为第一基矩阵和特征矩阵;具体的,根据奇异值分解法将所述数据矩阵初始化分解为所述第一基矩阵和所述特征矩阵其中,维度r为卷积核个数;为实数集;a=p1×p2,b=n×k1×k2,p1×p2为下采样的卷积核大小,k1×k2为初始矩阵的大小,n为初始矩阵的个数;
根据由所述第一基矩阵和所述特征矩阵建立的半非负矩阵分解损失函数,利用梯度求解法计算出第二基矩阵;具体的,根据所述第一基矩阵和所述特征矩阵建立半非负矩阵分解公式:
V±≈W1±H+
其中,矩阵V、W1中的元素为正或负,矩阵H中元素只能为正;
根据所述半非负矩阵建立所述半非负矩阵分解损失函数,得到所述半非负矩阵分解损失函数的公式:
其中,W为基矩阵,V为数据矩阵,H为特征矩阵,F为F范数,Osemi-NMF为半非负矩阵分解损失函数;
根据梯度求导法,求解出W矩阵迭代公式,进一步,根据预设迭代次数,得到第二基矩阵W2;
W←VH(HTH)-1
所述特征矩阵H的迭代公式:
将第二按列重构处理后的第二基矩阵作为预置卷积神经网络第一层卷积层的卷积核参数,所述第一层卷积层的卷积核参数与所述初始矩阵进行卷积得到新的数据矩阵;
将对所述新的数据矩阵进行编码、统计后得到的特征向量通过分类器进行分类训练,得到分类训练完成后的卷积神经网络模型;其中,所述编码为哈希编码,所述统计为直方图统计;
将待分类文本数据输入到所述卷积神经网络模型中进行文本分类。
2.根据权利要求1所述的基于改进卷积神经网络的文本分类方法,其特征在于,所述预置卷积神经网络包括至少两个卷积层;
下层卷积层的卷积核参数为:对上层卷积层的输出进行第一按列重构处理后,进行分解,并根据分解结果建立半非负矩阵的损失函数,并利用梯度求解法求解基矩阵,对求解得到的基矩阵进行第二按列重构处理,得到第二按列重构处理后的基矩阵;
所述下层卷积层的输出为:用所述下层卷积层的卷积核参数对所述上层卷积层的输出进行卷积后输出数据矩阵。
3.根据权利要求1所述基于改进卷积神经网络的文本分类方法,其特征在于,所述分类器包括:支持向量机。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东工业大学,未经广东工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910740474.2/1.html,转载请声明来源钻瓜专利网。