[发明专利]一种分布式大数据处理系统

权利要求书

1.一种分布式大数据处理系统，其特征在于，包括服务器、用户登录模块、数据获取模块、数据存储模块、信息推送模块、数据处理模块、安全模块以及数据仓库；

所述数据仓库内设置有若干个数据集群，所述数据集群由若干个子数据库单元组成，所述数据仓库用于数据存储和数据读取；

数据存储的具体过程如下：

步骤P1：将所有数据上传至安全模块，由安全模块对所需要存储的数据进行检测，对所需要存储的数据具体检测方式如下：

p1：将数据获取模块获取到的数据的大小Sdx上传至安全模块中，且若该数据内包含多个子数据，则将子数据的数量Szs与每个子数据的大小SzdXi上传至安全模块中，其中i＝1,2，……，Szs；

p2：将所获取到的数据代入公式SdS＝SzdX1+SzdX2+……+SzdXi，从而得到数据中所有的子数据的大小之和SdS；

p3：再将所获得的子数据的大小之和SdS与数据大小Sdx进行比较，当子数据的大小之和SdS等于Sdx的值，则判定为安全数据，并将安全数据重新上传至数据处理模块中进行压缩；当子数据的大小之和SdS大于Sdx的值，则判定含有隐藏的子数据，并标记为风险数据，同时将风险数据进行拦截，然后通过信息推送模块向管理员以及用户推送信息安全预警信息；

步骤P2：将安全数据上传至数据处理模块中，然后将数据进行压缩，再将压缩后的数据上传至数据仓库中；

步骤P3：数据进入数据仓库后，同步获取到用户的用户信息和账户，将数据与用户信息以及账户直接存储在数据集群内的子数据库单元内；

步骤P4：将数据存储至子数据库单元的时间进行记录，同时记录用户账号的下线时间以及最后一次登录的IP地址；

数据读取的过程具体如下：

步骤M1：将数据读取指令的信息上传至安全模块，通过安全模块对读取指令的来源进行验证，具体验证过程如下：

m1：服务器接收到需要读取数据仓库中的数据内容的指令时，则通过数据获取模块获取指令来源的用户信息和账户，同时提取数据仓库中的所需要读取的数据所属的用户信息与账户，将两者进行比较；

m2：当指令来源的用户信息与所需要读取的数据所属的用户信息一致时，该读取指令通过初步验证；则通过数据获取单元获取指令来源的IP地址，并将该IP地址与数据仓库中记录的最后一次登录的IP地址进行对比；当指令来源的用户信息与所需要读取的数据所属的用户信息不一致时，则判定该读取指令为非法指令，系统自动拦截此次指令，且通过信息推送模块向用户绑定的手机终端发送风险预警信息，且向用户手机发送验证信息，则当用户本人通过绑定的手机确认验证信息后才可进行下一步操作；

m3：当指令来源的IP地址与数据仓库中记录的最后一次登录的IP地址一致时，则该读取指令通过验证；指令来源的IP地址与数据仓库中记录的最后一次登录的IP地址不一致时，则判定该读取指令为非法指令，系统自动拦截此次指令，且通过信息推送模块向用户绑定的手机终端发送风险预警信息，且向用户手机发送验证信息，则当用户本人通过绑定的手机确认验证信息后才可进行下一步操作；

步骤M2：当读取指令通过安全模块的验证后，将数据仓库中的数据上传至数据处理模块中，并将数据进行解压；

步骤M3：将解压后的数据大小标记为SdxH，将数据中子数据的数量标记为SzH，将每个子数据的大小标记为SzdHj，其中j＝1,2，……，SzH；

步骤M4:首先将解压后的子数据的数量SzH以及子数据的大小SzdHj代入公式SdH＝SzdH1+SzdH2+……+SzdHj，其中j＝SzH；当SzH大于SdxH时，则判定该数据中含有隐藏的子数据，并将该数据标记为风险数据，同时将此次读取数据的操作进行中断，并通过信息推送模块向用户推送信息安全预警信息；当SzH等于SdxH时，则判定该数据中未含有隐藏子数据；

步骤M5：当系统判定所需要读取的数据中未含有隐藏的子数据时，当所需要读取数据的大小SdxH、子数据的数量SzH以及子数据的大小SzdHj与存储至数据仓库中数据的大小Sdx、子数据的数量Szs以及子数据的大小SzdXi前后相一致时，则判定该数据为安全数据；当所需要读取数据的大小SdxH、子数据的数量SzH以及子数据的大小SzdHj与存储至数据仓库中数据的大小Sdx、子数据的数量Szs以及子数据的大小SzdXi前后不一致时，则系统判定该数据存在风险；并通过信息推送模块向用户推送风险预警信息。