[发明专利]一种信息处理方法及装置有效
申请号: | 201410162861.X | 申请日: | 2014-04-22 |
公开(公告)号: | CN105005552B | 公开(公告)日: | 2019-01-08 |
发明(设计)人: | 杨海军;安涛;安华明;叶强;赵月 | 申请(专利权)人: | 北京四维图新科技股份有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27 |
代理公司: | 北京银龙知识产权代理有限公司 11243 | 代理人: | 许静;黄灿 |
地址: | 100028 北京市朝阳区曙光西里甲*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 信息处理 方法 装置 | ||
1.一种信息处理方法,其特征在于,包括下列步骤:
将产品的在线评论数据按照一预设标准进行初步筛选;
将筛选后保留的所述在线评论数据以符号为节点进行子句拆分,建立子句集;
从所述子句集中随机抽取一预设数量的子句建立训练样本集,并对所述训练样本集中的子句的情感倾向进行标注,根据所述训练样本集的标注对所述子句集的所有子句进行标注;
删除所述子句集中所述标注为第一值的子句,并将所述子句集中的剩余子句按照一预设模式组合,得到推荐理由;其中,
从所述子句集中随机抽取一预设数量的子句建立训练样本集,并对所述训练样本集中的子句的情感倾向进行标注的步骤包括:
分别从所述子句集中随机抽取一预设数量的子句建立测试样本集和训练样本集;
通过所述测试样本集判断所述训练样本集情感倾向标注的准确程度,若使用错误率小于预设阈值,则根据所述训练样本集的当前标注结果对所述子句集的所有子句进行标注;所述使用错误率是由所述测试样本集两次标注的结果得到的第二次标注的错误率,且所述第二次标注是根据所述训练样本集的第一次标注的结果对所述测试样本集中的子句进行的标注。
2.根据权利要求1所述的信息处理方法,其特征在于,通过所述测试样本集判断所述训练样本集情感倾向标注的准确程度,若使用错误率小于预设阈值,则根据所述训练样本集的当前标注结果对所述子句集的所有子句进行标注的步骤具体为:
获取所述测试样本集和所述训练样本集中子句的第一次标注的结果,根据所述训练样本集的第一次标注的结果对所述测试样本集中的子句进行第二次标注;
比较所述测试样本集两次标注的结果,获取所述测试样本集第二次标注的错误率,若错误率小于预设阈值,则根据所述训练样本集的当前标注结果对所述子句集的所有子句进行标注;若错误率大于预设阈值,对所述训练样本集进行校正,直至错误率小于预设阈值。
3.根据权利要求2所述的信息处理方法,其特征在于,获取所述测试样本集和所述训练样本集中子句的第一次标注的结果,根据所述训练样本集的第一次标注的结果对所述测试样本集中的子句进行第二次标注的步骤包括:
获取所述测试样本集和所述训练样本集中子句的第一次标注的结果后,将所述训练样本集中的子句按照其标注分为情感倾向不同的集合;
逐一选择所述测试样本集中的子句,通过下列公式获取当前选中子句相对所述训练样本集中情感倾向不同的集合中的概率P(T):
P(T)=P(w1w2w3…wn)=P(w1)P(w2|w1)P(w3|w1w2)…P(wn|w1w2…wn-1)≈P(w1)P(w2|w1)P(w3|w1w2)…P(wn|wn-3wn-2wn-1);
P(wn|w1w2...wn-1)=C(w1w2…wn)/C(w1w2...wn-1);
其中,T表示测试样本集中的子句,wn表示在T表示的子句中的第n个词语,按照最大似然法计算,C(wn-i-1wn-i…)表示该序列词语在所述训练样本集中情感倾向不同的集合中出现的次数;
比较当前选择的子句相对所述训练样本集中情感倾向不同的集合中的各个概率,标注当前子句的情感倾向与获得最大概率的集合的情感倾向相同。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京四维图新科技股份有限公司,未经北京四维图新科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410162861.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种词汇语义相关度的计算方法
- 下一篇:一种分布式闪存事务处理方法