[发明专利]用于生成词库的方法及装置在审
申请号: | 202110437047.4 | 申请日: | 2021-04-22 |
公开(公告)号: | CN113128209A | 公开(公告)日: | 2021-07-16 |
发明(设计)人: | 杨德将;李原;郝萌 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G06F40/242 | 分类号: | G06F40/242;G06F40/284;G06Q40/08 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 生成 词库 方法 装置 | ||
1.一种用于生成词库的方法,包括:
获取初始风险词;
对所述初始风险词进行扩展,得到扩展风险词;
基于所述初始风险词和所述扩展风险词,确定关键字信息;
基于所述关键字信息中的每个关键字,生成目标词库。
2.根据权利要求1所述的方法,其中,所述基于所述关键字信息中的每个关键字,生成目标词库,包括:
基于所述关键字信息中的每个关键字和预设的关键字顺序,确定关键字集合;
在所述关键字集合中确定分词位置;
基于所述分词位置,将所述关键字集合划分为至少一个目标词;
基于所述至少一个目标词,生成所述目标词库。
3.根据权利要求2所述的方法,其中,所述基于所述关键字信息中的每个关键字和预设的关键字顺序,确定关键字集合,包括:
按照所述预设的关键字顺序,在初始字典树中对所述关键字信息中的每个关键字进行遍历;
对于每个未预先存储的关键字,按照所述预设的关键字顺序,将该关键字与该关键字的下一关键字关联存储于所述初始字典树,得到目标字典树;
基于所述目标字典树中的各个关键字,确定所述关键字集合。
4.根据权利要求2所述的方法,其中,所述基于所述至少一个目标词,生成所述目标词库,包括:
对于所述至少一个目标词中的每个目标词,确定该目标词对应的风险类别;
基于所述至少一个目标词和各个目标词对应的风险类别,生成所述目标词库。
5.根据权利要求1所述的方法,其中,所述对所述初始风险词进行扩展,得到扩展风险词,包括:
在预设的候选扩展词库中,确定各个候选扩展词与所述初始风险词之间的编辑距离和/或语义相似度;
基于所述编辑距离和/或语义相似度,在所述各个候选扩展词中确定所述扩展风险词。
6.根据权利要求5所述的方法,其中,所述预设的候选扩展词库通过以下步骤确定得到:
获取历史风险信息;
基于所述历史风险信息中各个风险词出现的频率,确定所述预设的候选扩展词库。
7.根据权利要求1所述的方法,其中,所述方法还包括:
获取风险正样本集合和/或风险负样本集合;
基于所述风险正样本集合和/或所述风险负样本集合,更新所述目标词库。
8.根据权利要求1至7任一项所述的方法,其中,所述方法还包括:
存储所述目标词库的快照。
9.一种风险检测方法,其中,所述方法包括:
基于权利要求1-8中任一项所述的方法生成目标词库;
基于所述目标词库对目标对象进行风险检测。
10.一种用于生成词库的装置,包括:
风险词获取单元,被配置成获取初始风险词;
风险词扩展单元,被配置成对所述初始风险词进行扩展,得到扩展风险词;
信息确定单元,被配置成基于所述初始风险词和所述扩展风险词,确定关键字信息;
词库生成单元,被配置成基于所述关键字信息中的每个关键字,生成目标词库。
11.根据权利要求10所述的装置,其中,所述词库生成单元进一步被配置成:
基于所述关键字信息中的每个关键字和预设的关键字顺序,确定关键字集合;
在所述关键字集合中确定分词位置;
基于所述分词位置,将所述关键字集合划分为至少一个目标词;
基于所述至少一个目标词,生成所述目标词库。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110437047.4/1.html,转载请声明来源钻瓜专利网。