[发明专利]基于变分自编码模型的文本深度特征提取方法在审
申请号: | 201810758180.8 | 申请日: | 2018-07-11 |
公开(公告)号: | CN109145288A | 公开(公告)日: | 2019-01-04 |
发明(设计)人: | 陈渤;袁以军;张昊 | 申请(专利权)人: | 西安电子科技大学 |
主分类号: | G06F17/27 | 分类号: | G06F17/27;G06K9/62;G06N3/04;G06N3/08;G06N5/04 |
代理公司: | 西安睿通知识产权代理事务所(特殊普通合伙) 61218 | 代理人: | 惠文轩 |
地址: | 710071*** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 测试数据 深度特征 输入文档 自编码 向量 文本 第一层 子模型 两层 推理 自然语言处理技术 自然语言处理 主题关键词 海量文本 文本检索 训练数据 构建 建模 聚类 分类 应用 | ||
1.一种基于变分自编码模型的文本深度特征提取方法,其特征在于,包括以下步骤:
步骤1,确定N篇输入文档,得到第1篇输入文档的词袋向量x1至第N篇输入文档的词袋向量xN,记为数据集;将所述数据集划分为两部分,记为训练数据Xtrain和测试数据Xtext;
步骤2,对第n篇输入文档的词袋向量xn进行建模,设定模型包括两层,分别记为模型第一层和模型第二层,n=1,2,…,N;
步骤3,构建推理子模型,得到建立好的推理子模型;
步骤4,根据建立好的推理子模型和测试数据Xtext,得到测试数据Xtext的两层主题关键词,包括测试数据第一层主题的M个关键词和测试数据第二层主题的M个关键词,并记为本发明的一种基于变分自编码模型的文本深度特征提取结果。
2.如权利要求1所述的一种基于变分自编码模型的文本深度特征提取方法,其特征在于,在步骤1中,所述数据集,其具体得到过程为:
统计N篇输入文档中的出现过的单词总个数,记为Q个单词;设定Q个单词中包括个名词、个动词、个形容词和个其他词性的单词,对Q个单词做预处理,具体过程如下:
只保留Q个单词中的个名词、个动词和个形容词,将Q个单词中个其他词性的单词全部删除,合并个名词中的单复数形式,具体是保留个名词中的所有单数形式名词,将个名词中剩余复数形式名词全部对应转化为单数形式名词,得到个单数形式名词,然后将个单数形式名词中所有重复出现的单数形式名词各保留一个、其余删除,将个单数形式名词中所有只出现一次的单数形式名词全部保留,进而得到个单数形式名词,
合并个动词的不同时态,具体是保留个动词中的所有一般现在时态动词,将个动词的中剩余时态动词全部对应转化为对应一般现在时态动词,得到个一般现在时态动词,然后将个一般现在时态动词中所有重复出现的一般现在时态动词各保留一个、其余删除,将个一般现在时态动词中所有只出现一次的一般现在时态动词全部保留,进而得到个一般现在时态动词,将个形容词保持原样不变;进而得到预处理后的D个单词,所述预处理后的D个单词构成词典D*,词典D*包括D个单词;
对于第n篇输入文档,统计词典D*中的每个单词在第n篇输入文档中出现的次数,构成第n篇输入文档的词袋向量xn,第n篇输入文档的词袋向量xn词袋向量一共包括D个维度,其中表示词典D*中第d个单词在第n篇输入文档中出现的次数,并且是整数;
令n的值分别取1至N,进而得到第1篇输入文档的词袋向量x1至第N篇输入文档的词袋向量xN,记为数据集,所述数据集是一个大小为N×D的矩阵。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西安电子科技大学,未经西安电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810758180.8/1.html,转载请声明来源钻瓜专利网。