[发明专利]一种实现中文文本分类的方法及相关设备在审
申请号: | 201910038004.1 | 申请日: | 2019-01-16 |
公开(公告)号: | CN109446333A | 公开(公告)日: | 2019-03-08 |
发明(设计)人: | 陈海波 | 申请(专利权)人: | 深兰人工智能芯片研究院(江苏)有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F16/36 |
代理公司: | 上海晨皓知识产权代理事务所(普通合伙) 31260 | 代理人: | 成丽杰 |
地址: | 213161 江苏省常州市武进*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 映射矩阵 短文本 中文 局部特征向量 卷积神经网络 中文文本 分类 上下文信息 分类结果 拼音序列 文本分类 自动提取 语义 词向量 分类器 归一化 降采样 有效地 准确率 串接 卷积 维度 融合 拓展 联合 | ||
1.一种实现中文文本分类的方法,包括:
用中文的拼音序列对中文短文本进行语义拓展,使用词向量建立字符映射矩阵和词级映射矩阵;
将所述字符映射矩阵和词级映射矩阵进行卷积和降采样操作自动提取所述中文短文本的局部特征向量;
将所述局部特征向量进行串接融合后,加入到归一化Softmax 分类器中,实现对所述中文短文本的分类。
2.根据权利要求1所述的方法,其特征在于,所述用中文的拼音序列来对中文短文本进行语义拓展,使用词向量建立字符映射矩阵和词级映射矩阵,包括:
对文本进行预处理工作,包括去除含有大量无意义的符号,对混合评论进行保留;
使用大规模语料训练得到的词嵌入向量集合,记为 VT;对字符级别特征CF和词级别特征PF中的每一个组成单位进行向量化表示,得到字符映射矩阵和词级映射矩阵,其计算公式如下所示:,;
其中,是计算索引函数,通过迭代CF的组成单元求出其在VT中的索引,获取其词嵌入向量,通过迭代PF的组成单元求出其在VT中的索引,获取其词嵌入向量。
3.根据权利要求1所述的方法,其特征在于,所述将所述字符映射矩阵和词级映射矩阵进行卷积和降采样操作自动提取所述中文短文本的局部特征向量,包括:
利用大小为的卷积核对输入的字符映射矩阵和词级映射矩阵分别进行卷积运算,得到所述中文短文本的形态多层局部特征矩阵和语义多层局部特征矩阵,卷积运算过程如下:,其中,为得到的多层局部特征矩阵组成单元,为卷积核矩阵中第u行v列的权重值,b为偏置值;
选择函数 Relu作为线性激活函数,;
卷积之后加入降采样层,采用 k-max 降采样策略,对采样区域选取 k 个最大值,单个形态多层局部特征矩阵的采样过程,如下所示:,其中,为第 i 个形态多层特征矩阵,表示光栅化操作,即将二维矩阵压缩成一维向量,为排序操作函数,对一维向量进行排序。
4.根据权利要求1所述的方法,其特征在于,所述将所述局部特征向量进行串接融合后,加入到归一化Softmax 分类器中,实现对所述中文短文本的分类,包括:
对多个局部特征向量进行融合,采用串接方式将多个局部特征向量进行连接,形成固定长度的融合特征向量,即所述中文短文本的语义向量表示,过程如下所示:,其中为向量串接操作;
将所述中文短文本的语义向量表示作为Softmax 分类器的输入,从全局角度对特征进行分析,进而完成短文本分类任务;
进行文本类别判断,判为概率值p所属较大的类别,并与文本标签进行对比计算,得到文本正确率。
5.一种实现中文文本分类的装置,其特征在于,包括:
矩阵建立单元,用于用中文的拼音序列对中文短文本进行语义拓展,使用词向量建立字符映射矩阵和词级映射矩阵;
向量提取单元,用于将所述字符映射矩阵和词级映射矩阵进行卷积和降采样操作自动提取所述中文短文本的局部特征向量;
分类单元,用于将所述局部特征向量进行串接融合后,加入到归一化Softmax 分类器中,实现对所述中文短文本的分类。
6.根据权利要求5所述的装置,其特征在于,
所述矩阵建立单元,具体用于对文本进行预处理工作,包括去除含有大量无意义的符号,对混合评论进行保留;
使用大规模语料训练得到的词嵌入向量集合,记为 VT;对字符级别特征CF和词级别特征PF中的每一个组成单位进行向量化表示,得到字符映射矩阵和词级映射矩阵,其计算公式如下所示:,;
其中,是求索引函数,通过迭代CF的组成单元求出其在VT中的索引,获取其词嵌入向量,通过迭代PF的组成单元求出其在VT中的索引,获取其词嵌入向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深兰人工智能芯片研究院(江苏)有限公司,未经深兰人工智能芯片研究院(江苏)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910038004.1/1.html,转载请声明来源钻瓜专利网。