[发明专利]一种基于云平台的大数据分析系统

说明书

本发明公开了一种基于云平台的大数据分析系统，包括目标录入单元、数据遴选单元、数据获取单元、冗余分析单元、算力获取单元、冗余规则库；所述数据获取单元用于获取所有用户的目标信息和引用信息，目标信息包括目标数据和标的时间；目标数据为对应用户所需要的数据范围对应的内容，标的时间为对应目标数据的产生时间；引用信息包括引用时间和引用次数，引用次数即为该目标数据被拿去分析的次数，引用时间则为对应该数据每次被引用的时间点；本发明通过数据遴选单元去除不满足用户需求的数据，结合相应的规则和算法能够自动得到。

技术领域

本发明属于数据分析领域，涉及云处理技术，具体是一种基于云平台的大数据分析系统。

背景技术

公开号为CN109392196A的专利公开了一种基于移动终端的大数据分析方法及系统，大数据分析方法包括如下步骤：由移动终端收集指定类型的用户信息；由移动终端向大数据分析中心发送传输信道建立请求消息；如果移动终端在第一定时器超时之前没有接收到传输信道建立响应消息，也没有接收到传输信道建立否定消息，则由移动终端立即重新向大数据分析中心发送传输信道建立请求消息；如果移动终端在第一定时器超时之前接收到传输信道建立否定消息，则由移动终端在等待第一时间之后，重新向大数据分析中心发送传输信道建立请求消息；如果移动终端在第一定时器超时之前接收到传输信道建立响应消息，则由移动终端向大数据分析中心发送移动终端的身份标识符。

但是，其针对大数据进行分析时，针对数据来源，不能做到很好的滤除，同时对并发的大量数据，无法做到有效且满足一定顺序的要求进行处理，既能够在最短时间处理，又能同一批次处理尽量多的数据；为了解决这一缺陷，现提供一种解决方案。

发明内容

本发明的目的在于提供一种基于云平台的大数据分析系统。

本发明的目的可以通过以下技术方案实现：

一种基于云平台的大数据分析系统，包括目标录入单元、数据遴选单元、数据获取单元、冗余分析单元、算力获取单元、冗余规则库；

其中，所述数据获取单元用于获取所有用户的目标信息和引用信息，目标信息包括目标数据和标的时间；目标数据为对应用户所需要的数据范围对应的内容，标的时间为对应目标数据的产生时间；引用信息包括引用时间和引用次数，引用次数即为该目标数据被拿去分析的次数，引用时间则为对应该数据每次被引用的时间点；

所述目标录入单元用于用户录入数据要求信息，数据要求信息即为对应用户录入的阈值；

所述目标录入单元用于将数据要求信息传输到数据遴选单元，所述数据获取单元用于将目标信息和引用信息传输到数据遴选单元，所述数据遴选单元接收目标录入单元传输的数据要求信息，所述数据遴选单元接收数据获取单元传输的目标信息和引用信息；

所述数据遴选单元用于对目标信息、引用信息和数据要求信息进行遴选分析，得到选中分析数据；

所述数据遴选单元用于将选中分析数据标记为分析任务，所述数据遴选单元每间隔Td时间将处理出来的分析任务传输到冗余分析单元，其中Td为预设的时间数值；

所述算力获取单元用于获取当前云处理器的剩余算力，剩余算力为当前云处理器能够处理的能力，所述算力获取单元用于将剩余算力传输到冗余分析单元；

所述冗余规则库内存储有冗余分析规则；所述冗余分析单元接收到数据遴选单元传输的所有的分析任务，并结合冗余规则库对分析任务进行冗余分析，冗余分析具体步骤如下：

S1：首先获取到剩余算力；

S2：之后获取到所有的分析任务，将分析任务标定为Fxj，j＝1...n；

S3：获取到所有分析任务的时间戳，根据时间戳获取到所有的分析任务距离当下的时间跨度，将其标记为跨值Kdj，j＝1...n；