[发明专利]一种数据订阅方法、装置、电子设备及可读存储介质

说明书

本发明提供了一种数据订阅方法、装置、电子设备及可读存储介质，该方法包括：获取当前业务场景的数据需求，判断所述数据需求中是否存在需要独立订阅的数据源，若是，则根据所述需要独立订阅的数据源从当前接入的流量设备集合中提取目标流量设备子集，以及，为所提取的目标流量设备子集配置独立订阅策略和/或组合订阅策略，为剩余流量设备配置全局订阅策略；若否，则直接为当前接入的流量设备集合配置全局订阅策略。本发明能够根据业务场景的数据需求为需要独立订阅的数据源设备配置独立订阅策略，从而为分析价值高的流量设备制定了独立订阅策略，满足数据分析需求。

技术领域

本发明涉及数据订阅管理技术领域，具体涉及一种数据订阅方法、装置、电子设备及可读存储介质。

背景技术

网络流量分析目前已经成为网络安全检测和调查分析的主要技术手段，它通过对网络通讯流量进行实时采集、数据解析和全量存储，能够实现对各种已知的网络攻击和潜伏的高级未知攻击进行调查分析和追溯取证，在网络流量分析技术中，通常由数据分析平台对所有流量设备的数据进行统一收集，存储，集中查询和分析，从而进行集中的安全事件发现、定位和追溯分析。目前，数据分析平台在网络数据的收集中，主要收集以下几种数据：

（1）警报日志：流量设备产生的所有警报日志；

（2）网络日志：HTTP日志、DNS日志、FTP日志、ICMP日志等各种会话类日志、数据库类日志、文件传输类日志；

（3）非结构化数据：流量设备还原的各类PE文件和非PE文件；

（4）其他自定义数据：除了上述数据类型外，其他用户自定义的网络日志如自定义HTTP日志等；

数据分析平台在对数据的收集和处理上，目前采用全量收集的方式，分析平台提供全局策略，所有流量设备均按照同一种策略进行数据提取和上报。

在实际的应用场景中，流量设备的处理性能不尽相同，其部署位置不一，从数据源的提取和上报来说，由于采用统一的全局策略，如果统一的全局策略是以高性能设备为参考制定，那么势必会造成处理性能稍差的流量设备数据提取不全或数据丢失，如果策略以低性能设备为参考制定，那么处理性能较好的流量设备则不能发挥其应有的数据价值。

从数据收集和处理层面来说，安全分析平台统一对流量设备上报的数据进行全量收集和入库持久化，并未对数据进行清洗、聚合处理，从安全分析的角度来说，尽管原始的数据能提供最直接的数据证据，但在海量的数据中进行数据检索无疑增加了系统的性能开销和损耗；从数据利用和传输效率来说，分析平台不分设备类型、不按设备性能统一提取和订阅相同的数据类型，不仅会影响分析平台数据传输效率和入库性能，更重要的是会造成数据冗余，堆积大量无用的脏数据。因此现有采用全局订阅策略的监控技术会造成数据的丢失或设备数据采集性能的浪费。

发明内容

本发明的目的在于克服现有技术中所存在的数据分析平台对所有流量设备的数据均采用统一的策略进行数据收集、不满足数据分析需求的问题，提供一种数据订阅方法、装置、电子设备及可读存储介质，本方法能够根据业务场景的数据需求，根据需要独立订阅的数据源为指定流量设备配置独立订阅策略和/组合订阅策略，以精准获取分析价值高的数据源，满足数据分析需求。为了实现上述发明目的，本发明提供了以下技术方案：

一种数据订阅方法，包括：

获取当前业务场景的数据需求，判断所述数据需求中是否存在需要独立订阅的数据源，若是，则根据所述需要独立订阅的数据源从当前接入的流量设备集合中提取目标流量设备子集，以及，为所提取的目标流量设备子集配置独立订阅策略和/或组合订阅策略，为剩余流量设备配置全局订阅策略；

若否，则直接为当前接入的流量设备集合配置全局订阅策略。

根据一种具体的实施方式，上述数据订阅方法中，所述为所提取的目标流量设备子集配置独立订阅策略和/或组合订阅策略，包括：