[发明专利]企业数据的采集和治理方法

权利要求书

1.企业数据的采集和治理方法，其特征在于，所述方法包括：

数据源评估，对所述企业数据进行全面梳理，形成数据分类管理报告，建立数据资产树；

数据代理安装，在所述数据源上安装数据代理组件，将所述数据源中的所述企业数据发送给数据采集器；

数据采集，所述数据代理组件通过数据加密传输通道将所述企业数据发送至数据采集器，所述数据采集器根据预设参数接收传输的所述企业数据；

数据过滤，对所述企业数据进行重新审查和校验，数据过滤器根据过滤规则对所述企业数据进行匹配；其中，符合所述过滤规则的所述企业数据进入下一处理流程，不符合所述过滤规则的所述企业数据则被丢弃；

数据格式化，对所述符合所述过滤规则的所述企业数据的格式进行标准化处理；

数据脱敏，根据脱敏规则对格式化之后的所述企业数据中包含的规定信息进行数据变形。

2.根据权利要求1所述的企业数据的采集和治理方法，其特征在于，所述方法还包括：

数据入库，将经过所述数据脱敏之后的所述企业数据存储于分布式文件系统。

3.根据权利要求1所述的企业数据的采集和治理方法，其特征在于，所述数据源包括但不限于系统日志数据、应用程序日志数据、服务器告警日志和网络设备告警日志。

4.根据权利要求1所述的企业数据的采集和治理方法，其特征在于，所述数据资产树中的数据资产包括但不限于网络设备、数据库、应用系统、中间件和网络传感器产生的动态数据。

5.根据权利要求1所述的企业数据的采集和治理方法，其特征在于，所述数据采集器根据预设参数接收传输的所述企业数据，其中，所述预设参数包括数据传输协议、传输时间、传输周期和传输量/次。

6.根据权利要求1所述的企业数据的采集和治理方法，其特征在于，所述数据采集包括：

当所述企业数据的传输量超过预设上限时，所述数据采集器自启动负载均衡模式；

当所述数据采集器出现意外故障导致传输中断时，所述数据采集器自启动断点数据持久化模式。

7.根据权利要求1所述的企业数据的采集和治理方法，其特征在于，所述数据格式化包括：字段提取、数据补齐、数据标签、数据转译和语义分析。