[发明专利]基于多分类节点卷积循环网络的文本特征提取及分类方法在审
申请号: | 201810384910.2 | 申请日: | 2018-04-26 |
公开(公告)号: | CN108595643A | 公开(公告)日: | 2018-09-28 |
发明(设计)人: | 唐贤伦;林文星;万辉;杜一铭;魏畅;昌泉;杨济维;伍亚明 | 申请(专利权)人: | 重庆邮电大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06F17/27;G06N3/04 |
代理公司: | 重庆市恒信知识产权代理有限公司 50102 | 代理人: | 刘小红;陈栋梁 |
地址: | 400065 重*** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 循环网络 卷积 文本特征提取 分类节点 词向量 分类器 分类 预处理 分类准确率 词语组合 辅助网络 损失函数 特征输入 网络提取 文本数据 性能测试 一维卷积 组合特征 主分类 加权 网络 输出 优化 | ||
1.一种基于多分类节点卷积循环网络的文本特征提取及分类方法,其特征在于,包括以下步骤:
步骤1:采用包括分词、清洗文本、词向量训练在内的步骤预处理文本语料;
步骤2:使用一维卷积网络获取步骤1预处理后的多个词语的组合特征;
步骤3:使用双向长短期记忆循环网络提取步骤2所得的特征的时序信息,生成句子的特征表达,并作为主分类器的特征输入;
步骤4:使用多重卷积网络将步骤2所得的特征再次组合,生成句子的特征表达,并作为辅分类器的特征输入;
步骤5:加权得到总损失函数,采用RMSprop基于批量梯度下降优化损失函数降至最低;
步骤6:对主分类器进行性能测试并实现分类。
2.根据权利要求1所述的基于多分类节点卷积循环网络的文本特征提取及分类方法,其特征在于,所述步骤1:采用包括分词、清洗文本、词向量训练在内的步骤预处理文本语料,具体包括:
分词:对中文词语根据语义分词,英文需根据空格切割单词;
清洗文本:将大写英文字符转换为小写,去除文本中对分类无明显帮助的停用词汇、标点符号及数字;
词向量训练:通过Glove算法,根据复现词语的共现情况,生成d维的词向量。
3.根据权利要求2所述的基于多分类节点卷积循环网络的文本特征提取及分类方法,其特征在于,所述步骤2采用一维卷积网络,以滑动的卷积窗口抽取词向量间的词语组合特征,具体包括:固定文本包含m1个词语,每个词对应d维的词向量,不足长度的文本通过0填充补足,超出长度的文本需要将其在尾部截断,设定滑动窗口大小为k,卷积核为n,表示句长m1的文本经n个卷积核一维卷积的输出矩阵;
矩阵内每一个元素表示为:
其中是第j个卷积核的参数;是卷积核滑动窗口所接受的词语范围从i到i+k-1的k个词;是j个卷积核的偏执;f是修正线性单元f(x)=max{0,x}。
4.根据权利要求2所述的基于多分类节点卷积循环网络的文本特征提取及分类方法,其特征在于,所述步骤3使用双向长短期记忆循环网络提取步骤2所得的特征的时序信息,生成句子的特征表达,并作为主分类器的特征输入;具体为:
所述双向长短期记忆循环网络包含正逆双向的长短期记忆循环网络,每个长短期记忆单元又由三个门控单元,一个存储状态组成,并对整个序列的隐含层状态加以全局最大池化,输入主Softmax分类器。
5.根据权利要求2所述的基于多分类节点卷积循环网络的文本特征提取及分类方法,其特征在于,所述步骤4的多重卷积网络包含两个辅分类器,第一个辅助分类节点包含两个连续的卷积层和一个最大池化层,经全局最大池化输入辅Softmax分类器1;第二个辅助分类节点继续堆叠两个连续的卷积层,经全局最大池化输入辅Softmax分类器2。
6.根据权利要求2所述的基于多分类节点卷积循环网络的文本特征提取及分类方法,其特征在于,所述步骤5的最终损失函数是由三个分类器的损失函数加权而得,并且主分类器的损失函数分配较大的权重,辅分类器的损失函数分配较小的权重。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆邮电大学,未经重庆邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810384910.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种搜索应用程序内信息的方法及设备
- 下一篇:一种大数据平台运维管理系统