[发明专利]一种基于评论信息的数据处理方法及装置在审
申请号: | 201910906324.4 | 申请日: | 2019-09-24 |
公开(公告)号: | CN110705286A | 公开(公告)日: | 2020-01-17 |
发明(设计)人: | 蒋剑波;刘志锋;肖桂林;陈晓祥;翟红亮;李炜杰;吴思思;周苗 | 申请(专利权)人: | 青木数字技术股份有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F40/30;G06F40/247;G06Q30/06 |
代理公司: | 44202 广州三环专利商标代理有限公司 | 代理人: | 郭浩辉;麦小婵 |
地址: | 510000 广东省广州市海*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 词库 构建 单词 同义词 评价信息 文本数据 情感词 词语识别 分词处理 接口获取 开发平台 评论信息 数据处理 多维度 满意度 转换 分词 维度 预设 词语 挖掘 统计 服务 | ||
1.一种基于评论信息的数据处理方法,其特征在于,包括:
通过开放平台接口获取用户的评价文本数据;
通过预先构建的分词词库,将所述评价文本数据进行分词处理,得到单词列表;
将所述单词列表通过预先构建的维度词词库进行同义词转换;
将进行同义词转换后的单词列表通过预先构建的一种或多种情感词库进行情感词语识别,并根据不同的情感词语预设的权值进行计算,对情感词打分;
对情感词的得分情况进行统计,整理得到用户的综合评分评价满意度。
2.如权利要求1所述的基于评论信息的数据处理方法,其特征在于,所述分词词库的构建过程,包括:
基于Trie树结构进行词图扫描,生成句子中汉字所有可能成词组合所构成的有向无环图;采用动态规划查找最大概率路径,从所述有向无环图中找出基于词频的最大切分组合;
以及,采用基于汉字成词能力的HMM模型,通过Viterbi算法构建未登录词;
所述分词词库还包括因样本量太小而无法识别的固定组合词。
3.如权利要求1所述的基于评论信息的数据处理方法,其特征在于,在所述得到单词列表之后,还包括:
将所述单词列表通过预先构建的停用词词库进行匹配去除评论文字中对语义识别无意义的词,增加模型的效率和辨识度。
4.如权利要求1所述的基于评论信息的数据处理方法,其特征在于,所述将进行同义词转换后的单词列表通过预先构建的一种或多种情感词库进行情感词语识别,并根据不同的情感词语预设的权值进行计算,对情感词打分,包括:
将进行同义词转换后的单词列表通过预先构建的情感词词库,根据情感词的情感强烈程度进行打分;
将进行同义词转换后的单词列表通过预先构建的维度情感词词库,对同维度的词语进行归档打分;
将进行同义词转换后的单词列表通过预先构建的独立情感词词库,对独立情感词进行识别并对评论文本进行打分。
5.一种基于评论信息的数据处理装置,其特征在于,包括:
数据获取模块,用于通过开发平台接口获取用户的评价文本数据;
文本分词模块,用于通过预先构建的分词词库,将所述评价文本数据进行分词处理,得到单词列表;
单词转换模块,用于将所述单词列表通过预先构建的维度词词库进行同义词转换;
识别打分模块,用于将进行同义词转换后的单词列表通过预先构建的一种或多种情感词库进行情感词语识别,并根据不同的情感词语预设的权值进行计算,对情感词打分;
统计输出模块,用于对情感词的得分情况进行统计,整理得到用户的综合评分评价满意度。
6.如权利要求5所述的基于评论信息的数据处理装置,其特征在于,所述分词词库的构建过程,包括:
基于Trie树结构进行词图扫描,生成句子中汉字所有可能成词组合所构成的有向无环图;采用动态规划查找最大概率路径,从所述有向无环图中找出基于词频的最大切分组合;
以及,采用基于汉字成词能力的HMM模型,通过Viterbi算法构建未登录词;
所述分词词库还包括因样本量太小而无法识别的固定组合词。
7.如权利要求5所述的基于评论信息的数据处理装置,其特征在于,还包括:去除停用词模块,用于在所述得到单词列表之后,将所述单词列表通过预先构建的停用词词库进行匹配去除评论文字中对语义识别无意义的词,增加模型的效率和辨识度。
8.如权利要求5所述的基于评论信息的数据处理装置,其特征在于,所述识别打分模块包括:情感词单元、维度词单元和独立词单元;
情感词单元,用于将进行同义词转换后的单词列表通过预先构建的情感词词库,根据情感词的情感强烈程度进行打分;
维度词单元,用于将进行同义词转换后的单词列表通过预先构建的维度情感词词库,对同维度的词语进行归档打分;
独立词单元,用于将进行同义词转换后的单词列表通过预先构建的独立情感词词库,对独立情感词进行识别并对评论文本进行打分。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于青木数字技术股份有限公司,未经青木数字技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910906324.4/1.html,转载请声明来源钻瓜专利网。