[发明专利]海量特征串集合的匹配方法和装置有效
申请号: | 201611059646.2 | 申请日: | 2016-11-24 |
公开(公告)号: | CN106599097B | 公开(公告)日: | 2021-06-25 |
发明(设计)人: | 尹延伟 | 申请(专利权)人: | 东软集团股份有限公司 |
主分类号: | G06F16/903 | 分类号: | G06F16/903;G06F16/31 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 张大威 |
地址: | 110179 辽*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 海量 特征 集合 匹配 方法 装置 | ||
1.一种海量特征串集合的匹配方法,其特征在于,包括以下步骤:
接收当前待匹配数据,并生成与所述当前待匹配数据对应的字符转换函数和对应的位向量掩码表;
根据特征串集合中的特征串所包含字符个数确定匹配窗口长度,并为当前待匹配数据设置初始偏移值;
根据所述初始偏移值为起点对所述当前待匹配数据进行偏移并定位,获取所述匹配窗口长度内以所述匹配窗口末端为终点,长度为预设第一长度的字符块并作为第一字符块;
根据预设快表判断所述第一字符块是否为所述特征串集合的子特征串;
在所述第一字符块为所述特征串集合的子特征串时,获取所述匹配窗口长度内以所述匹配窗口始端为起始,长度为预设第二长度的字符块并作为第二字符块;
根据所述对应的字符转换函数计算所述第二字符块的转换值,并从所述对应的位向量掩码表读取与所述转换值对应的位向量并作为当前匹配向量;
根据所述当前匹配向量对所述当前待匹配数据进行特征串匹配;
在所述第一字符块不为所述特征串集合的子特征串时,以当前读入的所述第一字符块的起点位置的下一位作为所述匹配窗口的起点;
基于新的匹配窗口的起点对所述当前待匹配数据进行偏移并定位,并在新的所述匹配窗口的长度内对所述第一字符块进行更新。
2.如权利要求1所述的海量特征串集合的匹配方法,其特征在于,所述根据所述当前匹配向量对所述当前待匹配数据进行特征串匹配,包括:
将所述当前匹配向量和预设判断向量作与运算,得到运算结果;
在所述运算结果为未在所述当前待匹配数据中命中所述特征串集合中的特征串的第一运算结果时,获取所述匹配窗口长度内以所述第二字符块终点位置的下一位为起始,长度为预设第二长度的字符块并作为第三字符块,并根据所述第三字符块对所述第二字符块进行更新;
在所述运算结果为在所述当前待匹配数据中命中所述特征串集合中的特征串的第二运算结果时,获取所述第二字符块对应的哈希值,并根据所述哈希值及预设哈希表对命中情况进行确认。
3.如权利要求2所述的海量特征串集合的匹配方法,其特征在于,所述预设哈希表包括第一哈希表和第二哈希表,所述根据所述哈希值及预设哈希表对命中情况进行确认,包括:
获取所述第一哈希表的行数和列数,并计算所述行数和列数的乘积得到乘积值;
对所述哈希值和所述乘积值进行求余取模运算,得到模值;
判断所述第一哈希表中与所述模值对应位的位值是否为1;
在所述对应位的位值不为1时,判定所述命中情况为所述当前待匹配数据与所述特征串集合匹配失败;
在所述对应位的位值为1时,根据所述哈希值判断所述第二哈希表中是否存在所述特征串集合中的特征串;
在不存在所述特征串集合中的特征串时,判定所述命中情况为所述当前待匹配数据与所述特征串集合匹配失败;
在存在所述特征串集合中的特征串时,判定所述命中情况为所述当前待匹配数据与所述特征串集合匹配成功。
4.如权利要求3所述的海量特征串集合的匹配方法,其特征在于,在所述接收当前待匹配数据之前,还包括:
根据所述特征串集合中的每个特征串的哈希值生成所述第一哈希表和所述第二哈希表。
5.如权利要求1所述的海量特征串集合的匹配方法,其特征在于,所述生成与所述当前待匹配数据对应的字符转换函数和对应的位向量掩码表,包括:
生成与所述当前待匹配数据所支持的编码类型对应的字符转换函数和对应的位向量掩码表。
6.如权利要求1所述的海量特征串集合的匹配方法,其特征在于,在所述接收当前待匹配数据之后,还包括:
获取所述特征串集合中长度为预设第一长度的多个字符块;
计算所述多个字符块中每个字符块的哈希值;
根据所述每个字符块的哈希值生成所述预设快表。
7.如权利要求5所述的海量特征串集合的匹配方法,其特征在于,所述编码类型包括以下至少之一:
GB2312编码、GBK编码,以及UTF-8编码。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东软集团股份有限公司,未经东软集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611059646.2/1.html,转载请声明来源钻瓜专利网。