[发明专利]实时数据的计算方法及系统

权利要求书

1.一种实时数据的计算方法，其特征在于，所述实时数据的计算方法包括：

获取实时业务对应的在线数据，基于预设目标算法为获取的所述在线数据生成对应的计算任务；

提取历史数据对应的执行记录信息，根据所述执行记录信息，按照预设调度策略，为生成的所述计算任务分配对应的计算节点；

将所述计算任务下发至对应的计算节点进行执行；

通过可视化界面输出对应的计算结果；其中，所述计算结果为所述计算节点返回的执行所述计算任务得到的计算结果；

所述历史数据，存储于云存储系统，所述云存储系统包括：主控服务器、存储服务器集群和客户端，它们通过内部交换机进行数据交换；主控服务器用于对云存储客户端提供目录信息和元数据信息，并对存储服务器集群进行监控，所述目录信息包括该目录的路径、创建日期、目录属性；元数据信息包括文件的路径、创建/修改日期、文件属性、文件大小、所在主存储服务器和备份存储服务器的IP地址、端口号和对应的GUID；存储服务器集群包括多台用于数据存储的存储服务器，它设有AC-RU缓存，保存最近打开的若干个文件句柄；客户端用于对云存储客户机提供虚拟磁盘服务，将云存储客户机对虚拟磁盘的操作请求提交给主控服务器，并从存储服务器读取/写入文件数据，客户端模块被部署在云存储客户机上，它设有调节可控缓存即AC-RU缓存，保存最近访问的目录信息和文件的元数据信息；

所述历史数据的存储方法为：

采用多台存储服务器建立存储服务器集群，各存储服务器启动后周期性地向主控服务器发送心跳报文，心跳报文中包含该存储服务器当前的状态；主控服务器的内存中设有一对应于多个存储服务器的逻辑节点列表，当主控服务器接收到各存储服务器的心跳报文后，更新列表中对应于各存储服务器的逻辑节点；

当客户端访问虚拟磁盘下任意目录时，云存储客户端对主控服务器发起请求，获取所请求目录下子目录信息与文件元数据信息，并将所获得的子目录信息与文件元数据信息保存在客户端AC-RU缓存中；

云存储客户端请求创建文件或目录的操作，其中；当云存储客户端有创建文件的请求时，客户端将该请求提交给主控服务器，主控服务器检查创建文件所在的目录是否存在，若不存在，则返回目录不存在的回复；若存在，则为该文件分配GUID，从在线存储服务器中挑选负载较轻的两台作为该文件的主存储服务器和备份存储服务器，并通知这两台存储服务器创建名为GUID的文件，两台存储服务器都创建成功则向客户端返回创建成功的回复；当云存储客户端有创建目录的请求时，客户端将该请求提交给主控服务器，主控服务器检查新建目录的父目录是否存在，若不存在，则返回父目录不存在的回复；若存在，则建立新目录节点，并添加到父目录节点的子目录列表中，并向客户端返回创建成功的回复；

云存储客户端请求读文件、写文件、删除文件、复制/移动文件或重命名文件操作，其中：云存储客户端请求读文件时，首先从云存储客户端的AC-RU缓存中查找该文件的元数据信息，若缓存中元数据信息存在，则通过文件的元数据信息找到对应的主存储服务器，并对主存储服务器请求读取该文件的具体某一段的数据；若缓存中元数据信息不存在，则首先向主控服务器发送元数据请求，并将从主控服务器获得的元数据信息加入客户端AC-RU缓存中；云存储客户端请求写文件时，首先从云存储客户端的AC-RU缓存中查找该文件的元数据信息，若缓存中元数据信息存在，则云存储客户端通过文件的元数据信息找到对应的主存储服务器和备份存储服务器，并向它们请求写入该文件的具体某一段的数据，等主存储服务器和备份存储服务器都返回写成功的响应后，该次写操作成功，否则认为写失败；若缓存中元数据信息不存在，则首先向主控服务器发送元数据请求，并将从主控服务器获得的元数据信息加入客户端AC-RU缓存中；云存储客户端请求删除文件时，首先向主控服务器发送文件删除请求，主控服务器根据该文件的元数据信息找到具体保存该文件的主文件存储服务器和备份文件存储服务器，并将该元数据信息从目录结构中删除，同时向云存储客户端返回删除成功的响应，然后主控服务器将通知该文件的主存储服务器和备份存储服务器删除该文件，两台存储服务器在收到主控服务器的文件删除指令后执行文件删除操作；云存储客户端请求复制/移动文件操作是创建/读/写/删除文件操作的组合；重命名文件是在主控服务器中修改目录结构下文件元数据信息；

云存储客户端请求删除目录操作，其中：云存储客户端请求删除目录时，首先查看客户端AC-RU缓存中是否存在被删目录的信息，如果存在则将其从缓存中删除，然后向主控服务器发送目录删除请求；如果不存在，则直接向主控服务器发送目录删除请求，主控服务器收到目录删除请求后遍历其子目录列表和文件列表，递归地删除该目录下所有子目录和文件，最终将该目录删除；递归删除过程中，当某子目录是目录结构中的叶节点，则直接删除，否则发生递归删除过程；

所述历史数据的读取方法为：

从原始数据库中获取原始数据，并根据预设规则对所述原始数据进行分区；

根据分区规则建立B树索引；

根据存入数据分区中的数据列类型、数据分区的时间范围以及数据列存入的先后顺序建立列索引；

将所述数据分区中的数据块拆分成多个数据子块，对所述数据子块进行编号，每个数据子块对应1个数据主键，并将所述数据主键的列数据根据所述列索引存入对应的数据子块中；

在接收到数据提取请求信息时，根据所述请求信息中的时间范围通过B树索引确定待提取数据所在的数据分区，并确定该数据分区列内的偏移开始位置和偏移结束位置，根据所述请求信息中的列信息通过列索引确定每个列相对所述数据子块的起始位置，并根据所述请求信息中数据主键对应的数据子块编号确定该数据主键的起始位置；

根据数据主键的起始位置、数据子块的起始位置、数据分区列内的偏移开始位置和偏移结束位置提取数据；

在根据预设规则对所述原始数据进行分区之前，对获取的所述原始数据进行填充处理，以使得填充处理后的数据与时间点对齐，计算系统根据所述执行记录信息，按照预设调度策略，为生成的所述计算任务分配对应的计算节点，可以按照如下方式实施：

根据提取的所述执行记录信息，预估所述计算任务在执行时所需占用的系统资源、执行时间以及计算节点的节点等级；

根据预估结果，按照资源最优化的调度策略，为不同类型的计算任务分配不同的计算节点，且不同类型的计算任务的执行逻辑相互隔离。