[发明专利]文本中新词发现的方法和装置有效
| 申请号： | 201510443291.6 | 申请日： | 2015-07-24 |
| 公开（公告）号： | CN105095196B | 公开（公告）日： | 2017-11-14 |
| 发明（设计）人： | 邵佳帅;牟川;邢志峰 | 申请（专利权）人： | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
| 主分类号： | G06F17/28 | 分类号： | G06F17/28 |
| 代理公司： | 中原信达知识产权代理有限责任公司11219 | 代理人： | 姜劲,陆锦华 |
| 地址： | 100080 北京市海淀区杏石口路6*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 文本 新词 发现 方法 装置 | ||
1.一种文本中新词发现的方法，其特征在于，包括：
将文本按照标点符号进行分行，使每行成为一个短文本，将短文本中的每个字分隔开，利用深度神经网络算法提取每个字的特征向量；
计算短文本中每相邻两个字的特征向量的夹角余弦值并将计算结果排序；
选取所有所述夹角余弦值大于预设阈值的相邻两个字的顺序组合作为文本新词，并输出所述文本新词。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在利用深度神经网络算法提取每个字的特征向量之后，对所述每个字按照字为键、特征向量为值的形式生成哈希字典进行存储。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在将计算结果排序之后，去除所述计算结果中相同两字的组合及字母和/或数字的组合。
4.根据权利要求1或3所述的方法，其特征在于，所述方法还包括：在选取所有所述夹角余弦值大于预设阈值的相邻两个字的顺序组合作为文本新词之后，
遍历所述文本新词，判断是否存在两个文本新词，其中一个文本新词的最后一个字是另一个文本新词的第一个字，若存在，则将所述两个文本新词按照顺序合并去掉中间重复字得到一个新的文本新词；
判断所述新的文本新词在所述文本中是否存在，若存在，则删除合并前的两个文本新词，保留所述新的文本新词；若不存在，则保留合并前的两个文本新词。
5.一种文本中新词发现的装置，其特征在于，包括：
提取模块，用于将文本按照标点符号进行分行，使每行成为一个短文本，将短文本中的每个字分隔开，利用深度神经网络算法提取每个字的特征向量；
计算模块，用于计算短文本中每相邻两个字的特征向量的夹角余弦值并将计算结果排序；
选取模块，用于选取所有所述夹角余弦值大于预设阈值的相邻两个字的顺序组合作为文本新词，并输出所述文本新词。
6.根据权利要求5所述的装置，其特征在于，所述提取模块还用于：
在利用深度神经网络算法提取每个字的特征向量之后，对所述每个字按照字为键、特征向量为值的形式生成哈希字典进行存储。
7.根据权利要求5所述的装置，其特征在于，所述计算模块还用于：
在将计算结果排序之后，去除所述计算结果中相同两字的组合及字母和/或数字的组合。
8.根据权利要求5或7所述的装置，其特征在于，所述选取模块还用于：
在选取所有所述夹角余弦值大于预设阈值的相邻两个字的顺序组合作为文本新词之后，
遍历所述文本新词，判断是否存在两个文本新词，其中一个文本新词的最后一个字是另一个文本新词的第一个字，若存在，则将所述两个文本新词按照顺序合并去掉中间重复字得到一个新的文本新词；
判断所述新的文本新词在所述文本中是否存在，若存在，则删除合并前的两个文本新词，保留所述新的文本新词；若不存在，则保留合并前的两个文本新词。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司，未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201510443291.6/1.html，转载请声明来源钻瓜专利网。
- 上一篇：文件推荐方法和装置
- 下一篇：电子装置及其切换摄像模块的方法
