[发明专利]面向Hive平台的用户行为审计系统及方法

权利要求书

1.面向Hive平台的用户行为审计系统，其特征在于，包括：

数据采集单元，用于获取用户访问Hive平台的行为日志，并将所述行为日志传输给数据存储单元；

数据存储单元，用于接收并存储所述数据采集单元上传的行为日志和离线审计单元上传的审计结果；

在线审计单元，用于从数据存储单元中读取审计人员请求的行为日志，并按审计人员请求的执行动作处理行为日志；

离线审计单元，定时读取所述数据存储单元中行为日志以获取行为日志中展示Hive平台中所有文件被访问的频率和对Hive平台构成威胁的用户；

并将所有文件被访问的频率和对Hive平台构成威胁的用户作为审计结果传输给所述数据存储单元进行存储；

所述数据存储单元还用于将行为日志分隔成若干离线审计单元可以访问的数据块并分别对若干数据块进行单独存储；

时刻接收存储有数据块的结构上传的数据块的编号和行为日志，以确定存储有数据块的结构是否正常运行：若运行不正常，则移除存储有数据块的结构内的数据块；以及

根据离线审计单元访问数据块的请求，将请求映射到存储有相应数据块的结构上；

所述数据存储单元具有一个接收所述数据采集单元上传的行为日志和离线审计单元上传的审计结果的MYSQL数据库和一个接收所述数据采集单元上传的行为日志的分布式文件系统；

所述分布式文件系统包括一个命名节点和若干数据节点；

所述命名节点用于将存储的行为日志分隔成若干数据块；将每个数据块分别存储于一个数据节点内；

接收并分析每个数据节点上传的数据块编号和行为日志，以确定命名节点存储数据块和数据节点之间的映射信息和监控数据节点是否正常运行；

所述数据节点时刻将其内部存储的数据块列表发送给所述命名节点。

2.根据权利要求1所述的面向Hive平台的用户行为审计系统，其特征在于，所述离线审计单元还包括根据Hive平台每个文件被访问的频率优化每个文件的资源配置；以及

将资源配置情况作为审计结果传输给所述数据存储单元进行存储。

3.根据权利要求1所述的面向Hive平台的用户行为审计系统，其特征在于，还包括界面展示单元，其用于时刻显示在线审计单元和离线审计单元的工作动态及审计人员请求情况。

4.根据权利要求1所述的面向Hive平台的用户行为审计系统，其特征在于，所述行为日志至少包括用户名、访问Hive平台的文件数据、访问Hive平台中每个数据的时间和用户对无访问权限的文件的访问情况。

5.根据权利要求1-4任一所述的面向Hive平台的用户行为审计系统，其特征在于，所述离线审计单元访问所述分布式文件系统中存储的行为日志；所述在线审计单元访问所述MYSQL数据库中存储的数据。

6.一种权利要求1-5任一所述的面向Hive平台的用户行为审计系统的审计方法，其特征在于，包括以下步骤：

获取用户访问Hive平台的行为日志；

根据审计人员请求，对用户的行为日志进行审计：

读取行为日志中审计人员请求的数据，并对审计人员请求的数据进行处理；

分析行为日志中展示的Hive平台中所有文件被访问的频率和每个用户对无访问权限的文件的访问次数。

7.根据权利要求6所述的审计方法，其特征在于，还包括根据被访问的频率对优化Hive平台中每个文件的资源配置；

根据用户对无访问权限的文件的访问次数设置对Hive平台构成威胁的用户。

8.根据权利要求7所述的审计方法，其特征在于，还包括：

将行为日志分隔成若干离线审计单元可以访问的数据块；时刻接收存储有数据块的结构上传的数据块的编号和行为日志，以确定存储有数据块的结构是否正常运行；以及

根据离线审计单元访问数据块的请求，将请求映射到存储有相应数据块的结构上。