[发明专利]大数据存储系统中对数据文件进行关联存储的方法及系统

摘要

本发明公开了一种在大数据存储系统中对数据文件进行关联存储的方法及系统，其中方法包括：将大数据存储系统的存储区域在逻辑上进行划分；将每个新的数据文件存储在基础存储区中并用作基础数据文件；将与基础数据文件的关联度大于或等于主题关联度阈值的业务主题组成基础数据文件的业务主题集合，将基础数据文件移动到所述临时存储区并用作临时数据文件；确定与临时数据文件相关联的每个业务主题相关联的强和/或弱关联数据文件集并生成临时数据文件的主题匹配集合；利用所确定的匹配等级对所述相关联的临时数据文件的主题匹配集合进行更新；将特定的临时数据文件移动到与所归属的业务主题和文件集类型相对应的强或弱关联数据文件集中。

主权项

1.一种在大数据存储系统中对数据文件进行关联存储的方法，所述方法包括：/n确定对大数据存储系统内的数据文件进行数据分析的多个数据业务所涉及的多个业务主题；/n对所述多个业务主题中每个业务主题进行语义提取以确定与每个业务主题相关联的多个标签项；/n将大数据存储系统的存储区域在逻辑上划分为基础存储区、强关联存储区、弱关联存储区以及临时存储区；/n将所述大数据存储系统通过接口设备所接收的每个新的数据文件存储在基础存储区中并记录每个新的数据文件的起始存储时间，为每个新的数据文件生成摘要数据并将被存储到基础存储区中的每个新的数据文件用作基础数据文件；/n将与基础数据文件的关联度大于或等于主题关联度阈值的业务主题组成基础数据文件的业务主题集合，将基础数据文件移动到所述临时存储区并用作临时数据文件；/n在强和/或弱关联存储区中确定与临时数据文件相关联的每个业务主题相关联的强和/或弱关联数据文件集并生成临时数据文件的主题匹配集合；/n将临时数据文件复制到主题匹配集合中相应业务主题的强和/或弱关联数据文件集中并标记为推荐文件，获取业务请求设备对相应业务主题的强和/或弱关联数据文件集中推荐文件的反馈信息；/n确定与所接收到的反馈信息相关联的临时数据文件，并基于所接收到的反馈信息对相关联的临时数据文件的主题匹配集合中的匹配等级进行处理，利用所确定的匹配等级对所述相关联的临时数据文件的主题匹配集合进行更新；/n确定在临时存储区中存储的时间达到时间阈值的特定的临时数据文件所归属的业务主题和文件集类型，并将所述特定的临时数据文件移动到强或弱关联存储区的与所归属的业务主题和文件集类型相对应的强或弱关联数据文件集中。/n