[发明专利]一种基于云平台的大数据分析系统

权利要求书

1.一种基于云平台的大数据分析系统，其特征在于，包括目标录入单元、数据遴选单元、数据获取单元、冗余分析单元、算力获取单元、冗余规则库；

其中，所述数据获取单元用于获取所有用户的目标信息和引用信息，目标信息包括目标数据和标的时间；目标数据为对应用户所需要的数据范围对应的内容，标的时间为对应目标数据的产生时间；引用信息包括引用时间和引用次数，引用次数即为该目标数据被拿去分析的次数，引用时间则为对应该数据每次被引用的时间点；

所述目标录入单元用于用户录入数据要求信息，数据要求信息即为对应用户录入的阈值；

所述目标录入单元用于将数据要求信息传输到数据遴选单元，所述数据获取单元用于将目标信息和引用信息传输到数据遴选单元，所述数据遴选单元接收目标录入单元传输的数据要求信息，所述数据遴选单元接收数据获取单元传输的目标信息和引用信息；

所述数据遴选单元用于对目标信息、引用信息和数据要求信息进行遴选分析，得到选中分析数据；

所述数据遴选单元用于将选中分析数据标记为分析任务，所述数据遴选单元每间隔Td时间将处理出来的分析任务传输到冗余分析单元，其中Td为预设的时间数值；

所述算力获取单元用于获取当前云处理器的剩余算力，剩余算力为当前云处理器能够处理的能力，所述算力获取单元用于将剩余算力传输到冗余分析单元；

所述冗余规则库内存储有冗余分析规则；所述冗余分析单元接收到数据遴选单元传输的所有的分析任务，并结合冗余规则库对分析任务进行冗余分析，冗余分析具体步骤如下：

S1：首先获取到剩余算力；

S2：之后获取到所有的分析任务，将分析任务标定为Fxj，j＝1...n；

S3：获取到所有分析任务的时间戳，根据时间戳获取到所有的分析任务距离当下的时间跨度，将其标记为跨值Kdj，j＝1...n；

S4：获取到分析任务所需的处理时间以及对应的算力需求值，将处理时间标记为Ctj，j＝1...n；算力需求值标记为Xqj，j＝1...n；

S5：获取到对应的分析任务Fxj，及其对应的跨值Kdj、处理时间Ctj、算力需求值Xqj；

S6：获取到剩余算力，将剩余算力标记为Ls；

S7：当Ls大于等于所有算力需求值Xqj的和值时，不进行任何处理，否则进入步骤S8；

S8：获取到分析任务Fxj，对其进行批次安排分析，并根据分析结果将对应处理框的数据传输到云处理器进行处理；

所述云处理器接收冗余分析单元传输的处理框的数据，并对其进行实时存储；

所述云处理器用于将处理框传输到显示单元，显示单元接收云处理器传输的处理框并显示“当前正在处理+处理框”；

还包括管理单元，所述管理单元与云处理器通信连接。

2.根据权利要求1所述的一种基于云平台的大数据分析系统，其特征在于，所述遴选分析具体的过程为：

步骤一：获取到目标信息内的目标数据和标的时间；同时获取到对应目标数据的引用信息，自动获取到对应引用信息内的引用时间和引用次数；

步骤二：将目标数据标记为Mi，i＝1...n；

步骤三：令i＝1，选取对应的目标数据，获取到对应的标的时间，根据该标的时间获取到标的时间距离当下的时间长度值，将该时间长度值标记为时陈值T1；

步骤四：之后获取到对应引用信息的引用时间和引用次数，将引用次数标记为Y1；

步骤五：步骤五：以指定时间Ts为时间框，获取到连续的一个时间框内，出现的最多引用次数，将该最多引用次数标记为框引次值K1；

步骤六：获取到对应引用信息所有的引用时间，获取到最后一次引用时间距离当下的时间，将其标记为冷却时间L1；

步骤七：根据时陈值T1、引用次数Y1、框引次值K1和冷却时间L1，计算核选值Hx1，具体计算公式为：

Hx1＝(0.456*Y1+0.544*K1)/(0.382*T1+0.618*L1)；

步骤八：令i＝i+1；重复步骤三-步骤八；获取得到所有目标数据的核选值，将其标记为Hxi，i＝1...n；

步骤九：将核选值Hxi与数据要求信息内的阈值进行比较，将所有核选值Hxi大于阈值的对应目标数据标记为选中分析数据。