[发明专利]基于样本数据的数据探测和扩充方法及装置

说明书

一种基于样本数据的数据探测和扩充方法及装置，所述方法包括如下步骤：基于数据库中的至少一条数据确定所述样本数据，所述数据库存储有从海量数据中探测获得的多条数据；基于所述样本数据在所述海量数据中查找，以获得所述海量数据中与所述样本数据相匹配的匹配数据；对所述匹配数据进行处理以获得匹配规则，并更新指纹库，所述指纹库存储有历史上获得的匹配规则；基于更新后的指纹库在所述海量数据中进行匹配提取，以获得所述海量数据中与所述更新后的指纹库中的匹配规则相匹配的数据，并将匹配获得的数据扩充至所述数据库。通过本发明提供的技术方案能够更加准确、高效的对海量数据进行全局、系统的分析和处理。

技术领域

本发明涉及互联网技术领域，具体地涉及一种基于样本数据的数据探测和扩充方法及装置。

背景技术

随着互联网技术的高速发展，中国互联网网站和上网人数均飞速攀升，随着网民的飞速增长，以及互联网资源越来越丰富，互联网上产生的访问日志数据也快速膨胀形成海量数据，使得如何从海量数据中探测发现并扩充所需的数据信息成为当前信息处理方工作的重中之重。

目前，从海量数据中发现和扩充所需数据的方法主要集中在以下两种：其一，是人工检查数据方式，依靠人工对互联网上各网站或者应用程序(Application，简称APP，例如，装载在手机中的应用软件)的用户访问统一资源定位符(Uniform Resource Locator，简称URL)进行分析和总结，得到一系列的匹配规则，然后基于这些匹配规则再到互联网的海量数据资源中再进行匹配，从而提取扩充获得所需的数据。其二，则是应用程序编程接口(Application Programming Interface，简称API)查询方式，这种方法是通过API提供方的文档说明，根据需要调用对方的接口从而获取所需的数据。

这两种方法虽然能在一定程度上满足用户希望从海量数据中发现和扩充特定类型的数据，但是，这两种方法各自存在着无法回避的缺陷。对于人工检查数据方式而言，在实际操作中需要大量的人力去手动进行相关的分析和统计，探测和扩充效率低；API查询方式则依赖于API提供方提供的文档说明，具有不确定性。

另一方面，包括上述两种方式在内的现有数据发现和扩充方法，最终获得的都是某些特定网站上的数据。但是由于互联网中网站规模的飞速扩张，并且许多网站和APP对URL的构建方式没有制定统一的标准和规律，因此通过现有方法获取的数据只是海量数据中的一小部分，不利于用户对海量数据进行全局、系统的分析和处理，影响了用户所探测和扩充获得的数据的准确度。

发明内容

本发明解决的技术问题是现有技术无法以更为准确、高效的方式对海量数据进行全局、系统的分析和处理。

为解决上述技术问题，本发明实施例提供一种基于样本数据的数据探测和扩充方法，包括如下步骤：基于数据库中的至少一条数据确定所述样本数据，所述数据库存储有从海量数据中探测获得的多条数据；基于所述样本数据在所述海量数据中查找，以获得所述海量数据中与所述样本数据相匹配的匹配数据；对所述匹配数据进行处理以获得匹配规则，并更新指纹库，所述指纹库存储有历史上获得的匹配规则；基于更新后的指纹库在所述海量数据中进行匹配提取，以获得所述海量数据中与所述更新后的指纹库中的匹配规则相匹配的数据，并将匹配获得的数据扩充至所述数据库。

可选的，所述基于数据库中的至少一条数据确定所述样本数据，包括如下步骤：从所述数据库中选择预设数量的数据，并将所述预设数量的数据的特征信息作为所述样本数据。

可选的，所述特征信息包括：所述预设数量的数据的特征标识码；或者根据所述预设数量的数据确定的正则表达式。

可选的，基于所述样本数据在所述海量数据中查找，以获得所述海量数据中与所述样本数据相匹配的匹配数据，包括如下步骤：在所述海量数据中查找与所述样本数据具有相同特征信息的数据，并将所述具有相同特征信息的数据作为所述匹配数据。