[发明专利]一种大容量数据和服务管理系统

摘要

本发明属于数据管理服务技术领域，尤其涉及一种大容量数据和服务管理系统。本发明的大容量数据和服务管理装置提高了文件数据传输存储的效率，提高查询等数据操作的资源消耗，能够明显减少数据文件中的节点数目，在大容量数据系统中提升系统整体运行的效率，降低系统文件处理的负担，基于依赖关系的文件关联结构简化了文件的定位以及管理的难度，在关联文件的定位以及聚类过程中简化依赖节点的定位操作，减少文件数据读写的线程消耗，提高读写速率。

主权项

1.一种大容量数据和服务管理系统，其特征在于，包括一个主控模块以及多个服务模块，服务模块受主控模块的控制及管理；主控模块包括监听发送接口、写控制组件以及合并控制组件，监听发送接口接受来自控制端以及服务模块的指令消息，写控制组件包括数据管理元件，数据管理元件记录原始数据与服务模块的映射关系；合并控制组件包括合并管理元件、依赖图计算元件、聚类元件，依赖图积算元件控制服务模块中每个内存服务，进行依赖图的解算、汇合以及初始化，聚类元件依据依赖图进行层次聚类以及簇调度，以决定各簇在哪个内存服务中进行合并；合并管理元件根据簇调度结果将同一簇文件转移至同一个内存服务中，由合并服务组件对簇中所包含的数据文件进行合并，同时生成检索文件；服务模块获取和处理数据源的写入要求，并反馈相应回复消息；包括监听发送接口、用于对文件进行写缓存操作的写服务组件、用于对文件进行合并操作的合并服务组件；写服务组件包括数据写入接口、内存管理元件、原始数据管理元件；原始数据管理元件中存储有数据源与对象、数据源与文件的映射关系；内存管理元件对文件内存进行分配管理，具体而言，内存管理元件将文件以双向链表的方式进行处理，其中数据源标志与文件块链表存入散列表，每个数据源标志的编号通过散列分配方式填入链表中；以利用双向链表对数据源标志以及文件块进行管理和维护；服务合并服务组件包括合并元件、进程管理元件；合并服务组件将缓存至内存管理元件中的文件块不断合并为压缩文件格式的大文件，直至大文件的大小与文件系统默认块的大小相当，则写入文件系统中；进程管理元件包括一个线程池，其线程数目为芯片的线程数目，且进行合并、搜索的生成，并行实现文件的持续操作；其中，当文件系统中文件总量达到某设定阈值时，使用基于依赖关系的分层聚类对数据源进行聚类。