[发明专利]面向Hive平台的用户行为审计系统及方法

摘要

本发明公开了面向Hive平台的用户行为审计系统及方法，该审计系统数据采集单元，用于获取用户访问Hive平台的行为日志，并将所述行为日志传输给数据存储单元；数据存储单元，用于接收并存储所述数据采集单元上传的行为日志和离线审计单元上传的审计结果；在线审计单元，用于从数据存储单元中读取审计人员请求的行为日志，并按审计人员请求的执行动作处理行为日志；离线审计单元，定时读取所述数据存储单元中行为日志以获取行为日志中展示的Hive平台中所有文件被访问的频率和对Hive平台构成威胁的用户；并将所有文件被访问的频率和对Hive平台构成威胁的用户作为审计结果传输给所述数据存储单元进行存储。

主权项

面向Hive平台的用户行为审计系统，其特征在于，包括：数据采集单元，用于获取用户访问Hive平台的行为日志，并将所述行为日志传输给数据存储单元；数据存储单元，用于接收并存储所述数据采集单元上传的行为日志和离线审计单元上传的审计结果；在线审计单元，用于从数据存储单元中读取审计人员请求的行为日志，并按审计人员请求的执行动作处理行为日志；离线审计单元，定时读取所述数据存储单元中行为日志以获取行为日志中展示Hive平台中所有文件被访问的频率和对Hive平台构成威胁的用户；并将所有文件被访问的频率和对Hive平台构成威胁的用户作为审计结果传输给所述数据存储单元进行存储；所述数据存储单元还用于将行为日志分隔成若干离线审计单元可以访问的数据块并分别对若干数据块进行单独存储；时刻接收存储有数据块的结构上传的数据块的编号和行为日志，以确定存储有数据块的结构是否正常运行：若运行不正常，则移除存储有数据块的结构内的数据块；以及根据离线审计单元访问数据块的请求，将请求映射到存储有相应数据块的结构上；所述数据存储单元具有一个接收所述数据采集单元上传的行为日志和离线审计单元上传的审计结果的MYSQL数据库和一个接收所述数据采集单元上传的行为日志的分布式文件系统；所述分布式文件系统包括一个命名节点和若干数据节点；所述命名节点用于将存储的行为日志分隔成若干数据块；将每个数据块分别存储于一个数据节点内；接收并分析每个数据节点上传的数据块编号和行为日志，以确定命名节点存储数据块和数据节点之间的映射信息和监控数据节点是否正常运行；所述数据节点时刻将其内部存储的数据块列表发送给所述命名节点。