[发明专利]数据处理方法、数据处理装置和服务器有效
申请号: | 201810697029.8 | 申请日: | 2018-06-29 |
公开(公告)号: | CN108984666B | 公开(公告)日: | 2022-05-13 |
发明(设计)人: | 魏讲文;杨明晖;石秋慧 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F16/33 |
代理公司: | 北京三友知识产权代理有限公司 11127 | 代理人: | 李辉 |
地址: | 英属开曼*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 服务器 | ||
1.一种数据处理方法,包括:
确定多个提问信息对应的多个初始词集合和多个补充词集合;所述初始词集合包括至少一个主干词;所述补充词集合包括至少一个补充词;所述确定多个提问信息对应的多个初始词集合和多个补充词集合,包括:针对每个提问信息,从该提问信息中提取主干词作为初始词集合中的主干词,从该提问信息中提取实词作为补充词集合中的补充词;
根据每个提问信息对应的初始词集合和补充词集合,为该提问信息构建至少一个候选词集合;所述候选词集合包括至少一个主干词;
计算每个候选词集合对应的特征值;
根据特征值,从每个提问信息对应的至少一个候选词集合中选取主干词集合。
2.如权利要求1所述的方法,所述主干词包括谓词和疑问词中的至少一种;所述补充词包括实词。
3.如权利要求1所述的方法,所述根据每个提问信息对应的初始词集合和补充词集合,为该提问信息构建至少一个候选词集合,包括:
针对每个提问信息,将该提问信息所对应补充词集合中的每个补充词,作为主干词添加至该提问信息对应的初始词集合,得到基于该补充词构建的候选词集合。
4.如权利要求1或3所述的方法,每个提问信息所对应候选词集合的数量,与该提问信息所对应补充词集合中补充词的数量相同。
5.如权利要求1所述的方法,所述特征值包括以下至少一种:
候选词集合出现的频次;
候选词集合的信息熵;
候选词集合的点互信息。
6.如权利要求5所述的方法,所述从每个提问信息对应的至少一个候选词集合中选取主干词集合,包括:
从每个提问信息对应的至少一个候选词集合中,选取出现频次最大的候选词集合,作为该提问信息对应的主干词集合;
或者,从每个提问信息对应的至少一个候选词集合中,选取出现频次大于或等于第一预设阈值的候选词集合,作为该提问信息对应的主干词集合。
7.如权利要求5所述的方法,所述从每个提问信息对应的至少一个候选词集合中选取主干词集合,包括:
从每个提问信息对应的至少一个候选词集合中,选取信息熵最小的候选词集合,作为该提问信息对应的主干词集合;
或者,从每个提问信息对应的至少一个候选词集合中,选取信息熵小于或等于第二预设阈值的候选词集合,作为该提问信息对应的主干词集合。
8.如权利要求5所述的方法,所述从每个提问信息对应的至少一个候选词集合中选取主干词集合,包括:
从每个提问信息对应的至少一个候选词集合中,选取点互信息最大的候选词集合,作为该提问信息对应的主干词集合;
或者,从每个提问信息对应的至少一个候选词集合中,选取点互信息大于或等于第三预设阈值的候选词集合,作为该提问信息对应的主干词集合。
9.如权利要求1所述的方法,所述主干词集合能够表征提问信息所体现的用户意图。
10.如权利要求1所述的方法,所述方法还包括:
以每个提问信息对应的主干词集合作为新的初始词集合,重复执行构建候选词集合的步骤、计算特征值的步骤、选取主干词集合的步骤、以及以每个提问信息对应的主干词集合作为新的初始词集合的步骤,直至满足迭代终止条件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810697029.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种高效视频内容联合检测方法
- 下一篇:一种舆情监测系统