[发明专利]一种自然语言处理方法和装置有效
申请号: | 201710786457.3 | 申请日: | 2017-09-04 |
公开(公告)号: | CN107526831B | 公开(公告)日: | 2020-03-31 |
发明(设计)人: | 王雅圣;魏建生;张旸 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F16/36;G06F40/242;G06F40/30;G06K9/62 |
代理公司: | 北京龙双利达知识产权代理有限公司 11329 | 代理人: | 章愫;时林 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 自然语言 处理 方法 装置 | ||
1.一种自然语言处理方法,其特征在于,包括:
获取待处理词,所述待处理词由M个字组成;
确定所述M个字中m个待处理字的极性特征信息,所述m个待处理字中的第i个字的极性特征信息包括n个极性特征值,每个极性特征值对应一个情感极性,其中,所述第i个字的第j个极性特征值由预存的词典中的目标词的数量与包括所述第i个字的全部词的数量的比值确定,所述目标词为包含所述第i个字的全部词中具有第j个极性特征值对应的情感极性的词;
根据所述m个待处理字的极性特征信息,确定所述待处理词的极性特征向量,所述极性特征向量包括与n个情感极性一一对应的n组分量,所述n组分量中的第j组分量由所述m个待处理字中每个字的第j个极性特征值确定;
根据所述待处理词的极性特征向量,通过预设的分类器,确定并输出所述待处理词的情感极性;
其中,M、m、n、i、j均为正整数,M≥m,i为[1,m]中的任意值,j为[1,n]中的任意值。
2.根据权利要求1所述的方法,其特征在于,在m>1的情况下,所述根据所述m个待处理字的极性特征信息,确定所述待处理词的极性特征向量,包括:
将所述m个待处理字的极性特征信息中的极性特征值组合成所述待处理词的极性特征向量,所述n组分量中的第j组分量包括m个极性特征值,所述m个极性特征值由所述m个待处理字中每个字的第j个极性特征值组合得到。
3.根据权利要求2所述的方法,其特征在于,在M>m的情况下,所述方法还包括:
从所述M个字中确定所述m个待处理字,所述m个待处理字中任意一个字的极性特征值中的最大值大于剩余的M-m个字中任意一个字的任意一个极性特征值。
4.根据权利要求2所述的方法,其特征在于,所述将所述m个待处理字的极性特征信息中的极性特征值组合成所述待处理词的极性特征向量,包括:
按照所述m个待处理字在所述待处理词中的排布顺序,将所述m个待处理字的极性特征信息中的极性特征值组合成所述待处理词的极性特征向量。
5.根据权利要求1所述的方法,其特征在于,在m>1的情况下,所述根据所述m个待处理字的极性特征信息,确定所述待处理词的极性特征向量,包括:
在[1,n]范围内对x遍历取值,通过以下任意一种方式确定所述待处理词的极性特征向量中的所述n组分量中的第x组分量:
对所述m个待处理字中的每个字的第x个极性特征值求平均值,
对所述m个待处理字中的每个字的第x个极性特征值求和,或者,
对所述m个待处理字中的每个字的第x个极性特征值求最大值;
将所述n组分量组合得到所述待处理词的极性特征向量;
其中,x为正整数。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述方法还包括:
将所述待处理词作为已处理词,加入所述词典中。
7.根据权利要求1至5中任一项所述的方法,其特征在于,所述方法还包括:
从所述词典中获取训练样本,所述训练样本包括Y个已知情感极性的词,每个词包括m个待处理字;
利用所述训练样本对所述分类器进行训练,其中,所述训练包括:
确定所述训练样本中的第y个词所包含的m个待处理字的极性特征信息,所述m个待处理字中的第s个字的极性特征信息包括n个极性特征值,每个极性特征值对应一个情感极性,其中,所述第s个字的第t个极性特征值由所述词典中的目标词的数量与包括所述第s个字的全部词的数量的比值得到,所述目标词为包含所述第s个字的全部词中具有第t个极性特征值对应的情感极性的词;
根据所述第y个词中所述m个待处理字的极性特征信息,确定第y个词的极性特征向量,所述第y个词的极性特征向量包括与所述n个情感极性一一对应的n组分量,所述n组分量中的第t组分量由所述m个待处理字中每个字的第t个极性特征值确定;
利用所述第y个词的情感极性和确定得到的所述第y个词的极性特征向量,训练所述分类器;
其中,Y、y、s、t均为正整数,y为[1,Y]中的任意值,s为[1,m]中的任意值,t为[1,n]中的任意值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710786457.3/1.html,转载请声明来源钻瓜专利网。