[发明专利]一种大容量数据和服务管理系统

说明书

本发明属于数据管理服务技术领域，尤其涉及一种大容量数据和服务管理系统。本发明的大容量数据和服务管理装置提高了文件数据传输存储的效率，提高查询等数据操作的资源消耗，能够明显减少数据文件中的节点数目，在大容量数据系统中提升系统整体运行的效率，降低系统文件处理的负担，基于依赖关系的文件关联结构简化了文件的定位以及管理的难度，在关联文件的定位以及聚类过程中简化依赖节点的定位操作，减少文件数据读写的线程消耗，提高读写速率。

技术领域

本发明属于数据管理服务技术领域，尤其涉及一种大容量数据和服务管理系统。

背景技术

随着信息传输、检测技术的发展，在日常学习生活以及生产制造过程中，应用综合数据处理技术越来越广泛，通过设置多种数据采集装置以及传输装置，实现更大范围或者更全面的数据信息收集以及处理效率，相对而言，数据量的总量越多，数据的准确度以及全面性更高，但另一方面，大量的数据源代表了庞大的数据传输以及处理压力，特别是在生产控制、实时采集应用环境中，与一般的日常监控，持续传输不同，这些应用环境中含有大量分散的小文件数据，例如传感器监测数据，控制信号数据等，这些数据本身单个容量小，但整体数量庞大，而实际文件传输以及缓存、存储系统的单个空间/字节长度一般均高于这些数据，导致在处理、存储以及缓存过程中不能充分设备效率，同时在大量此类数据并发时带来极高的系统载荷负担。

发明内容

本发明创造的目的在于，提供一种大容量数据和服务管理系统，其能够将分散的小文件数据进行综合处理，提高其传输存储效率，降低文件系统负荷。

为实现上述目的，本发明创造采用如下技术方案。

一种大容量数据和服务管理系统，包括一个主控模块以及多个服务模块，服务模块受主控模块的控制及管理；

主控模块包括监听发送接口、写控制组件以及合并控制组件，监听发送接口接受来自控制端以及服务模块的指令消息写控制组件包括数据管理元件，数据管理元件记录原始数据与服务模块的映射关系；

合并控制组件包括合并管理元件、依赖图计算元件、聚类元件，依赖图积算元件控制服务模块中每个内存服务，进行依赖图的解算、汇合以及初始化，聚类元件依据依赖图进行层次聚类以及簇调度，以决定各簇在哪个内存服务中进行合并；合并管理元件根据簇调度结果将同一簇文件转移至同一个内存服务中，由合并服务组件对簇中所包含的数据文件进行合并，同时生成检索文件；

服务模块获取和处理数据源的写入要求，并反馈相应回复消息；包括监听发送接口、用于对文件进行写缓存操作的写服务组件、用于对文件进行合并操作的合并服务组件；

写服务组件包括数据写入接口、内存管理元件、原始数据管理元件；原始数据管理元件中存储有数据源与对象、数据源与文件的映射关系；内存管理元件对文件内存进行分配管理，具体而言，内存管理元件将文件以双向链表的方式进行处理，其中数据源标志与文件块链表存入散列表，每个数据源标志的编号通过散列分配方式填入链表中；以利用双向链表对数据源标志以及文件块进行管理和维护；服务合并服务组件包括合并元件、进程管理元件；

合并服务组件将缓存至内存管理元件中的文件块不断合并为压缩文件格式的大文件，直至大文件的大小与文件系统默认块的大小相当，则写入文件系统中；进程管理元件包括一个线程池，其线程数目为芯片的线程数目，且进行合并、搜索的生成，并行实现文件的持续操作；其中，当文件系统中文件总量达到某设定阈值时，使用基于依赖关系的分层聚类对数据源进行聚类。

对上述大容量数据和服务管理装置的进一步优化还包括，在服务模块，写入接口中的写线程获取数据并以文件协议指定的形式发送至缓存，如果是数据源的初次读写服务，则内存管理元件在散列表中插入数据源标识符，同时对双向链表进行初始化操作，以用于该数据源的内存分配，为数据分配与文件长度相应的内存块，数据拷贝完成后，内存块释放至双向链表中，并在原始数据管理元件中维护数据源与文件、块的映射关系；多服务模块负载超过某限定阈值，则数据源返回负载过重信号，有数据源重新发送读写请求。