[发明专利]一种数据处理方法、装置、电子设备及存储介质

说明书

本发明实施例公开了一种数据处理方法、装置、电子设备及存储介质。所述数据处理方法，包括：获取待处理数据在内核空间的目标内存地址；将磁盘空间中的待处理数据缓存于内核空间的目标内存地址；在数据处理空间中共享目标内存地址；基于共享的目标内存地址对待处理数据进行数据处理；其中，对待处理数据进行数据处理的方式包括串行处理和/或并行处理。本发明实施例的技术方案能够在减少数据拷贝节约内存资源的前提下，提高数据读取效率。

技术领域

本发明实施例涉及大数据技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的发展，数据成爆炸式增长，导致大数据时代来临。由于海量数据存在挖掘价值，使得数据分析成为大数据的研究热点。

在现有技术中，为了满足对数据的不同维度的分析需求，一个文件往往需要通过多个分析模块的处理。无论以串行处理方式分析文件，还是以并行处理方式分析文件，每个分析模块每次读取数据时需要两次数据拷贝(磁盘空间到内核空间的数据拷贝，内核空间到用户空间的数据拷贝)，导致现有数据分析方式存在数据分析时效性差以及读取效率较低的问题。

近些年，随着企业上云、5G(5th Generation Mobile CommunicationTechnology，第五代移动通信技术)落地以及工控物联网设备激增，导致网络流量日益海量复杂，如何识别监测和分析网络流量成为重要研究方向和企业关注热点。NTA(NetworkTraffic Analysis，网络流量分析)技术是一种威胁检测的新兴技术，具备检测高级威胁的能力，直接或间接成为各类威胁防护解决方案的重要组成部分。NTA通过DFI(Deep/DynamicFlow Inspection，深度/动态流检测)和DPI(Deep Packet Inspection，深度包检测技术)技术对东西向和南北向的流量进行分析，通常部署在网络关键区域。其中，DPI可以针对不同的网络应用层载荷进行深度检测，通过对报文的有效载荷检测决定其合法性。DFI与DPI进行应用层的载荷匹配不同，采用的是一种基于流量行为的应用识别技术，即不同的应用类型体现在会话连接或数据流上的状态各有不同。很多NTA产品集流量记录、分析以及报告于一体，解决无法确定谁在什么时间什么地方执行什么行为的重要问题，帮助企业全面了解网络活动，同时也为研究人员分析网络流量模式更快的发现漏洞提供了很好的途径。与传统的流量检测设备“重检测，轻分析”相比，NTA不过多依赖规则库，它对网络流量进行深入解析和全面的记录，基于数据科学，依靠先进的算法以及高性能硬件提供的强大算力支撑，展现了更智能、更多维以及更精准的分析能力。

为确保高带宽的处理效率，NTA底层往往会采用文本形式记录日志。文本形式输出压力小，在正常的磁盘速度下，快速生成文本日志，再由分析系统处理，使得系统结构更加清晰简单高效。而在大流量情况下，一个文本日志文件往往会占用极大的空间，几百M甚至上G，根据现有技术中的数据读取方式会出现文本日志占用极大空间资源的情况，而大数据量的文本日志的两次拷贝也会影响NTA的数据处理效率，使得现有数据处理方式无法满足NTA快速处理海量流量数据的需求。

发明内容

本发明实施例提供一种数据处理方法、装置、电子设备及存储介质，能够在减少数据拷贝节约内存资源的前提下，提高数据读取效率。

第一方面，本发明实施例提供了一种数据处理方法，包括：

获取待处理数据在内核空间的目标内存地址；

将磁盘空间中的待处理数据缓存于内核空间的目标内存地址；

在数据处理空间中共享目标内存地址；

基于共享的目标内存地址对待处理数据进行数据处理；

其中，对待处理数据进行数据处理的方式包括串行处理和/或并行处理。

第二方面，本发明实施例还提供了一种数据处理装置，包括：