[发明专利]基于多分类节点卷积循环网络的文本特征提取及分类方法在审

专利信息
申请号: 201810384910.2 申请日: 2018-04-26
公开(公告)号: CN108595643A 公开(公告)日: 2018-09-28
发明(设计)人: 唐贤伦;林文星;万辉;杜一铭;魏畅;昌泉;杨济维;伍亚明 申请(专利权)人: 重庆邮电大学
主分类号: G06F17/30 分类号: G06F17/30;G06F17/27;G06N3/04
代理公司: 重庆市恒信知识产权代理有限公司 50102 代理人: 刘小红;陈栋梁
地址: 400065 重*** 国省代码: 重庆;50
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 循环网络 卷积 文本特征提取 分类节点 词向量 分类器 分类 预处理 分类准确率 词语组合 辅助网络 损失函数 特征输入 网络提取 文本数据 性能测试 一维卷积 组合特征 主分类 加权 网络 输出 优化
【权利要求书】:

1.一种基于多分类节点卷积循环网络的文本特征提取及分类方法,其特征在于,包括以下步骤:

步骤1:采用包括分词、清洗文本、词向量训练在内的步骤预处理文本语料;

步骤2:使用一维卷积网络获取步骤1预处理后的多个词语的组合特征;

步骤3:使用双向长短期记忆循环网络提取步骤2所得的特征的时序信息,生成句子的特征表达,并作为主分类器的特征输入;

步骤4:使用多重卷积网络将步骤2所得的特征再次组合,生成句子的特征表达,并作为辅分类器的特征输入;

步骤5:加权得到总损失函数,采用RMSprop基于批量梯度下降优化损失函数降至最低;

步骤6:对主分类器进行性能测试并实现分类。

2.根据权利要求1所述的基于多分类节点卷积循环网络的文本特征提取及分类方法,其特征在于,所述步骤1:采用包括分词、清洗文本、词向量训练在内的步骤预处理文本语料,具体包括:

分词:对中文词语根据语义分词,英文需根据空格切割单词;

清洗文本:将大写英文字符转换为小写,去除文本中对分类无明显帮助的停用词汇、标点符号及数字;

词向量训练:通过Glove算法,根据复现词语的共现情况,生成d维的词向量。

3.根据权利要求2所述的基于多分类节点卷积循环网络的文本特征提取及分类方法,其特征在于,所述步骤2采用一维卷积网络,以滑动的卷积窗口抽取词向量间的词语组合特征,具体包括:固定文本包含m1个词语,每个词对应d维的词向量,不足长度的文本通过0填充补足,超出长度的文本需要将其在尾部截断,设定滑动窗口大小为k,卷积核为n,表示句长m1的文本经n个卷积核一维卷积的输出矩阵;

矩阵内每一个元素表示为:

其中是第j个卷积核的参数;是卷积核滑动窗口所接受的词语范围从i到i+k-1的k个词;是j个卷积核的偏执;f是修正线性单元f(x)=max{0,x}。

4.根据权利要求2所述的基于多分类节点卷积循环网络的文本特征提取及分类方法,其特征在于,所述步骤3使用双向长短期记忆循环网络提取步骤2所得的特征的时序信息,生成句子的特征表达,并作为主分类器的特征输入;具体为:

所述双向长短期记忆循环网络包含正逆双向的长短期记忆循环网络,每个长短期记忆单元又由三个门控单元,一个存储状态组成,并对整个序列的隐含层状态加以全局最大池化,输入主Softmax分类器。

5.根据权利要求2所述的基于多分类节点卷积循环网络的文本特征提取及分类方法,其特征在于,所述步骤4的多重卷积网络包含两个辅分类器,第一个辅助分类节点包含两个连续的卷积层和一个最大池化层,经全局最大池化输入辅Softmax分类器1;第二个辅助分类节点继续堆叠两个连续的卷积层,经全局最大池化输入辅Softmax分类器2。

6.根据权利要求2所述的基于多分类节点卷积循环网络的文本特征提取及分类方法,其特征在于,所述步骤5的最终损失函数是由三个分类器的损失函数加权而得,并且主分类器的损失函数分配较大的权重,辅分类器的损失函数分配较小的权重。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆邮电大学,未经重庆邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201810384910.2/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top