[发明专利]一种情感新词的识别方法及装置有效
申请号: | 201510718928.8 | 申请日: | 2015-10-29 |
公开(公告)号: | CN106649250B | 公开(公告)日: | 2019-08-02 |
发明(设计)人: | 朱波 | 申请(专利权)人: | 北京国双科技有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27;G06F16/951;G06F16/953;G06F16/9535 |
代理公司: | 北京鼎佳达知识产权代理事务所(普通合伙) 11348 | 代理人: | 王伟锋;刘铁生 |
地址: | 100083 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 情感 新词 识别 方法 装置 | ||
1.一种情感新词的识别方法,其特征在于,所述方法包括:
确定测试文本中的新词,所述新词为现有词典中未收录的词;
利用含有所述新词的词典,构建词向量模型,所述词向量模型中的每个词都有相对应的向量值,所述词向量模型用于通过所述向量值的比较计算所述词典中词的相似度,所述词向量模型为低维度的词向量模型,所述含有所述新词的词典是通过将所述新词加入所述现有词典中得到的;
利用所述词向量模型,计算出至少一个与所述新词相似的情感词;
根据所述情感词的情感倾向性,判断所述新词的情感倾向性。
2.根据权利要求1所述方法,其特征在于,所述确定测试文本中的新词包括:
将所述测试文本进行分词处理;
利用相邻分词之间的互信息计算所述相邻分词组成新词的概率值;
根据预置的概率阈值,将所述概率值大于所述概率阈值的相邻分词组成准新词;
通过计算所述准新词的邻接熵,将所述邻接熵符合预置条件的准新词确定为新词。
3.根据权利要求2所述方法,其特征在于,所述通过计算所述准新词的邻接熵,将所述邻接熵符合预置条件的准新词确定为新词包括:
分别计算所述准新词的左邻接熵与右邻接熵;
判断所述左邻接熵与右邻接熵的熵值是否大于预置的熵值阈值;
若均大于,则确定所述准新词为新词。
4.根据权利要求1-3中任一项所述方法,其特征在于,所述利用含有所述新词的词典,构建词向量模型包括:
利用含有所述新词的词典,对所述测试文本进行分词;
根据所述分词结果构建所述词向量模型。
5.根据权利要求4所述方法,其特征在于,所述利用所述词向量模型,计算出至少一个与所述新词相似的情感词包括:
设置所述词向量模型的计算参数;
所述词向量模型根据所述计算参数计算出至少一个与所述新词相似的情感词。
6.根据权利要求5所述方法,其特征在于,所述根据所述情感词的情感倾向性,判断所述新词的情感倾向性包括:
根据预置的情感词典,确定所述情感词的情感倾向性;
根据所述情感词的情感倾向性以及所述情感词与新词的相关度,判断所述新词的情感倾向性。
7.一种情感新词的识别装置,其特征在于,所述装置包括:
确定单元,用于确定测试文本中的新词,所述新词为现有词典中未收录的词;
构建单元,用于利用含有所述确定单元确定的新词的词典,构建词向量模型,所述词向量模型中的每个词都有相对应的向量值,所述词向量模型用于通过所述向量值的比较计算所述词典中词的相似度,所述词向量模型为低维度的词向量模型,所述含有所述新词的词典是通过将所述新词加入所述现有词典中得到的;
计算单元,用于利用所述构建单元构建的词向量模型,计算出至少一个与所述新词相似的情感词;
判断单元,用于根据所述计算单元计算出的情感词的情感倾向性,判断所述新词的情感倾向性。
8.根据权利要求7所述装置,其特征在于,所述确定单元包括:
分词模块,用于将所述测试文本进行分词处理;
计算模块,用于利用由所述分词模块得到的相邻分词之间的互信息计算所述相邻分词组成新词的概率值;
组合模块,用于根据预置的概率阈值,将由所述计算模块计算的概率值大于所述概率阈值的相邻分词组成准新词;
确定模块,用于通过计算所述组合模块组成的准新词的邻接熵,将所述邻接熵符合预置条件的准新词确定为新词。
9.根据权利要求8所述装置,其特征在于,所述确定模块包括:
计算子模块,用于分别计算所述准新词的左邻接熵与右邻接熵;
判断子模块,用于判断由所述计算子模块计算左邻接熵与右邻接熵的熵值是否大于预置的熵值阈值;
确定子模块,用于当所述判断子模块的判断结果为大于所述熵值阈值时,确定所述准新词为新词。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京国双科技有限公司,未经北京国双科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510718928.8/1.html,转载请声明来源钻瓜专利网。