[发明专利]基于网络数据采集的数据处理方法及系统

说明书

本发明公开一种基于网络数据采集的数据处理方法及系统，涉及互联网数据技术领域。所述方法包括基于所述网络数据请求信息进行网络数据采集；当前应用类型确定数据加密方式，根据所述网络数据请求信息中所包含的当前用户信息得到临时密码，基于当前用户信息生成第一随机数，根据所述数据加密方式对所述临时密码进行加密得到加密密码，使用所述第一随机数对采集到的网络数据进行加密，将加密后的网络数据、所述加密密码和当前用户信息返回给发送该网络数据请求信息的服务器。本发明不仅可以采集多种类型的网络数据，使采集的网络数据种类增多，而且在对采集的网络数据进行传输时根据应用类型确定数据加密方式，使得网络数据传输的安全性更高。

技术领域

本发明涉及互联网数据技术领域，尤其涉及一种基于网络数据采集的数据处理方法及系统。

背景技术

伴随着当今社会信息之间的交流越来越频繁和紧密，工业生产领域的电子设备同互联网的联系朝着更方便和更快捷的方向进行着，利用该类电子设备同互联网的连接，将广泛存在于互联网中的大数据进行采集、处理、分析，进而对工业生产进行指导具有提高产品质量、提高生产效率的作用。随着网络信息的发展，产生了的越来越多不同类型的网络数据，而现有技术中的网络数据采集和处理系统，数据采集样式比较单一，对要采集的数据缺乏识别判断，从数据采集到数据传输再到大数据分析过程中，还存在着数据安全性较低的问题。

发明内容

有鉴于此，本发明提供一种基于网络数据采集的数据处理方法及系统，能够解决现有技术中网络采集数据的多样性和安全性问题。

第一方面，本发明实施例提供一种基于网络数据采集的数据处理方法，包括当接收到网络数据请求信息时，执行以下步骤：

步骤S1、基于所述网络数据请求信息进行网络数据采集；

步骤S2、根据当前客户端连接的应用类型确定数据加密方式，根据所述网络数据请求信息中所包含的当前用户信息得到临时密码，基于当前用户信息生成第一随机数；

步骤S3、根据所述数据加密方式对所述临时密码进行加密得到加密密码，使用所述第一随机数对采集到的网络数据进行加密，将加密后的网络数据、所述加密密码和当前用户信息返回给发送该网络数据请求信息的服务器。

上述方法还包括，所述服务器接收到客户端返回的数据后，根据预设规则从数据中获得加密后的网络数据、加密密码和当前用户信息，并将所述加密密码与当前用户信息对应保存；

当需要进行大数据分析时，所述服务器根据所述当前用户信息生成第二随机数，根据所述第二随机数对所述加密后的网络数据进行解密以获得解密后的网络数据，基于解密后的网络数据进行数据分析得到数据分析结果。

进一步的，上述方法还包括，当接收到网络数据请求时，判断所述网络数据请求信息是否属于攻击类请求信息，是则基于该网络数据请求信息确定攻击对象数据，根据确定的攻击对象数据生成攻击对象替代数据，向发送该网络数据请求信息的目标攻击设备返回生成的攻击对象替代数据，否则执行所述步骤S1。

上述攻击对象数据的确定方法具体包括：

第一步，获取所述攻击对象数据所对应的所有历史版本对象数据，按生成时间信息从早到晚先后顺序，对所述历史版本对象数据进行排序处理，得到对应的历史版本对象数据序列；

第二步，基于历史版本对象数据序列中数据之间的数据变化信息，确定出所述攻击对象数据的非关键部分数据；

第三步，基于所述非关键部分数据对所述攻击对象数据进行替换处理，得到对应的攻击对象替代数据。

上述步骤S1具体包括，根据预先定义的网络数据识别规则和所述网络数据请求信息中携带的数据采集条件进行网络数据采集，对无法识别的网络数据进行拦截剔除，以及对被编码的网络数据进行解码以获取符合条件的网络数据并进行存储。