[发明专利]海量片段数据汇聚的系统和方法

摘要

本发明针对两种海量片段数据分别公开了海量片段数据汇聚的系统，包括客户端的片段上传模块，服务器端的缓存模块、验证库模块、文件存储模块、片段接收模块、片段处理模块、片段合并模块、片段汇聚模块；相应的本发明还分别公开了海量片段数据汇聚的方法。本发明采用消息队列服务、内存库、文件型数据库及守护进程等多种技术，能够高效的处理和合并海量片段数据。并采用严谨的合并策略，保证合并的正确性。

主权项

一种海量片段数据汇聚的系统，其特征在于，包括客户端的片段上传模块，服务器端的缓存模块、验证库模块、文件存储模块、片段接收模块、片段处理模块、片段合并模块、片段汇聚模块；所述片段上传模块将片段数据上传到服务器端，所述片段数据带有片段数据信息，包括片段数据的父ID，所述片段数据的父ID为片段数据所属文件的HASH值；所述缓存模块包括3个消息队列，片段数据队列、待合并片段队列和合并结果待处理队列；所述验证库模块存放已接收片段数据的HASH值；所述文件存储模块包括三部分，文件位置库、文件缓存库和文件最终存储库；所述文件位置库记录已接收到的片段数据信息，以及合并后的文件存放的位置是在文件缓存库中或者在文件最终存储中；文件缓存库存放尚未包含所有片段的文件；文件最终存储库保存包含所有片段的文件；所述片段接收模块接收客户端上传的片段数据并存入片段数据队列队尾；所述片段处理模块从片段数据队列队头获取片段数据，并计算所述片段数据的HASH值，验证所述HASH值是否已经存放在验证库模块中，如果是则丢弃所述片段数据，否则将所述片段数据的HASH值存入验证库模块，并将所述片段数据存入待合并片段队列队尾；所述片段合并模块从待合并片段队列队头获取片段数据，如果所获取的片段数据父ID未存在于文件位置库中，则将所述片段数据存入文件缓存库、文件位置库记录所述片段数据信息；否则从文件缓存库中取出与所述片段数据父ID相同的文件数据和所述片段数据进行合并，并将合并后的文件数据存入合并结果待处理队列队尾；所述片段汇聚模块从合并结果待处理队列队头获取文件数据，计算所述文件数据的HASH与文件数据的父ID进行对比，若所述文件数据的HASH与文件数据的父ID不相等，则将所述文件数据存入文件缓存库；否则若所述文件数据的HASH与文件数据的父ID相等，则将所述文件数据存入文件最终存储库，并更新所述文件数据在文件位置库中的位置信息。