[发明专利]一种敏感数据发现与检测的方法及系统

权利要求书

1.一种敏感数据发现与检测的方法，其特征在于，所述方法包括以下步骤：

S1采集物理交换机镜像端口流量、虚拟化环境采集虚拟机交换机端口镜像流量、docker环境sidecar采集容器镜像流量；

S2基于获取的流量进行分析，构建完整会话流并提取应用请求和响应payload；

S3对应用层请求和响应payload进行分析处理；

S4识别结构化数据对象并作结构化处理；

S5利用关键字检测和正则匹配进行敏感数据的敏感内容检测；

S6记录匹配内容及匹配结果和其在原文中的偏移量，有助于人工分析和调优。

2.根据权利要求1所述的敏感数据发现与检测的方法，其特征在于，所述方法中，应用与应用、节点与节点的交互均通过网络进行，并在数据链路层用MTU来限制所能传输的数据包大小，当发送的IP数据包的大小超过MTU时，IP层对数据进行分片处理，故而需要实现IP分片处理模块用于重组分片的IP数据包。

3.根据权利要求1所述的敏感数据发现与检测的方法，其特征在于，所述方法中，通过序列号、检验和、确认应答信号、重发控制、连接管理、窗口控制、流量控制、拥塞控制机制在镜像流量中实现TCP会话流重组，进而提取TCP协议的数据段用于应用层协议自识别和应用层协议解析。

4.根据权利要求1所述的敏感数据发现与检测的方法，其特征在于，所述方法中，利用HTTP协议层有限状态机从镜像流量中提取HTTP请求的Method、Header、URL、请求体、响应体信息；通过MYSQL协议层有限状态机从镜像流量中提取MYSQL请求的操作方法、SQL语句、请求体、响应体信息。

5.根据权利要求1所述的敏感数据发现与检测的方法，其特征在于，所述方法中，通过HTTP Header解析模块，判别数据交换协议类型，进而调用相对应的交换协议解析引擎；

通过JSON交互协议的协议解析引擎，将JSON格式的请求、响应的payload转换成结构化数据对象；

通过XML交互协议的协议解析引擎，将XML格式的请求、响应的payload转换成结构化数据对象；

通过protobuf交互协议的协议解析引擎，将protobuf格式的请求、响应的payload转换成结构化数据对象；

通过MYSQL的请求分析模块，识别存在数据传输的操作命令；

通过Row Data解析引擎,将MYSQL请求、响应的业务数据转换成结构化数据对象。

6.根据权利要求1所述的敏感数据发现与检测的方法，其特征在于，所述方法中，实现可与数据分级分类管理联动的规则引擎，包括基于关键字和字典的元数据管理和基于正则匹配的主数据管理系统，并创建字典和正则叠加组合的规则体系用于支持复杂的数据分级分类规则。

7.根据权利要求1所述的敏感数据发现与检测的方法，其特征在于，所述方法中，通过扫描引擎按需定制敏感数据检测规则，并动态构建对应的规则扫描引擎，对待扫描的内容进行字符集检查并转换成UTF8编码；

对转换成UTF8编码的待扫描内容运用字符串匹配算法实现关键字检测；在关键字检测结果基础之上，运用更高层次的算法实现字典匹配结果的计算。

对转换成UTF8编码的待扫描内容运用正则匹配算法实现主数据检测，对存在确定校验算法的主数据，调用检验器检测引擎。

8.根据权利要求1所述的敏感数据发现与检测的方法，其特征在于，所述方法中，通过处理引擎对扫描结果进行处理，对于关键字匹配成功的结果，记录匹配到的具体关键字以及关键字在待扫描内容中的偏移量，对主数据正则匹配成功的结果，记录具体的匹配成功内容以及该内容在待扫描内容中的偏移量。