[发明专利]基于样本数据的数据探测和扩充方法及装置

权利要求书

1.一种基于样本数据的数据探测和扩充方法，其特征在于，包括如下步骤：

基于数据库中的至少一条数据确定所述样本数据，所述数据库存储有从海量数据中探测获得的多条数据；

基于所述样本数据在所述海量数据中查找，以获得所述海量数据中与所述样本数据相匹配的匹配数据；

对所述匹配数据进行处理以获得匹配规则，并更新指纹库，所述指纹库存储有历史上获得的匹配规则；

基于更新后的指纹库在所述海量数据中进行匹配提取，以获得所述海量数据中与所述更新后的指纹库中的匹配规则相匹配的数据，并将匹配获得的数据扩充至所述数据库；

重复执行前述从数据库确定样本数据至将匹配获得的数据扩充至数据库的步骤。

2.根据权利要求1所述的基于样本数据的数据探测和扩充方法，其特征在于，所述基于数据库中的至少一条数据确定所述样本数据，包括如下步骤：

从所述数据库中选择预设数量的数据，并将所述预设数量的数据的特征信息作为所述样本数据。

3.根据权利要求2所述的基于样本数据的数据探测和扩充方法，其特征在于，所述特征信息包括：

所述预设数量的数据的特征标识码；或者

根据所述预设数量的数据确定的正则表达式。

4.根据权利要求2所述的基于样本数据的数据探测和扩充方法，其特征在于，基于所述样本数据在所述海量数据中查找，以获得所述海量数据中与所述样本数据相匹配的匹配数据，包括如下步骤：

在所述海量数据中查找与所述样本数据具有相同特征信息的数据，并将所述具有相同特征信息的数据作为所述匹配数据。

5.根据权利要求4所述的基于样本数据的数据探测和扩充方法，其特征在于，在基于所述样本数据在海量数据中查找时，若存在预设限制条件，则在所述海量数据中由所述预设限制条件定义的部分数据中查找，以获得所述匹配数据。

6.根据权利要求1所述的基于样本数据的数据探测和扩充方法，其特征在于，对所述匹配数据进行处理以获得匹配规则，并更新指纹库，包括如下步骤：

对所述匹配数据进行结构化处理，以获得按预设格式排布的标准数据；

基于所述标准数据生成所述匹配规则并去重；

基于去重后的匹配规则更新所述指纹库。

7.根据权利要求6所述的基于样本数据的数据探测和扩充方法，其特征在于，基于所述标准数据生成所述匹配规则并去重，包括如下步骤：

根据所述预设格式将所述标准数据转换为所述匹配规则；

去除转换得到的匹配规则中的重复项，获得所述去重后的匹配规则。

8.根据权利要求6所述的基于样本数据的数据探测和扩充方法，其特征在于，基于去重后的指纹更新所述指纹库，包括如下步骤：

将所述去重后的匹配规则与所述指纹库中的匹配规则相比较，以二次去除重复项；

将二次去除重复项后的匹配规则更新至所述指纹库。

9.根据权利要求1至8任一项所述的基于样本数据的数据探测和扩充方法，其特征在于，所述数据为互联网访问记录。

10.一种基于样本数据的数据探测和扩充装置，其特征在于，包括：

确定模块，用于基于数据库中的至少一条数据确定所述样本数据，所述数据库存储有从海量数据中探测获得的多条数据；

查找模块，用于基于所述样本数据在所述海量数据中查找，以获得所述海量数据中与所述样本数据相匹配的匹配数据；

更新模块，用于对所述匹配数据进行处理以获得匹配规则，并更新指纹库，所述指纹库存储有历史上获得的匹配规则；

提取模块，用于基于更新后的指纹库在所述海量数据中进行匹配提取，以获得所述海量数据中与所述更新后的指纹库中的匹配规则相匹配的数据，并将匹配获得的数据扩充至所述数据库；

重复执行前述从数据库确定样本数据至将匹配获得的数据扩充至数据库的步骤。