[发明专利]大数据存储系统中对数据文件进行关联存储的方法及系统

说明书

本发明公开了一种在大数据存储系统中对数据文件进行关联存储的方法及系统，其中方法包括：将大数据存储系统的存储区域在逻辑上进行划分；将每个新的数据文件存储在基础存储区中并用作基础数据文件；将与基础数据文件的关联度大于或等于主题关联度阈值的业务主题组成基础数据文件的业务主题集合，将基础数据文件移动到所述临时存储区并用作临时数据文件；确定与临时数据文件相关联的每个业务主题相关联的强和/或弱关联数据文件集并生成临时数据文件的主题匹配集合；利用所确定的匹配等级对所述相关联的临时数据文件的主题匹配集合进行更新；将特定的临时数据文件移动到与所归属的业务主题和文件集类型相对应的强或弱关联数据文件集中。

技术领域

本发明涉及大数据存储领域，并且更具体地，涉及大数据存储系统中对数据文件进行关联存储的方法及系统。

背景技术

目前，随着数据量的不断增加以及数据分析需求的不断增加，大数据存储系统已经成为众多用户需求的基础设施。大数据存储系统通常能够存储海量数据，从而为数据处理提供存储支持。然而，在现有的大数据存储系统中，没有针对数据文件的关联性进行有效存储的方式，而是根据用户需求直接将用户提供的数据进行存储。这种方式导致了数据存储的效率低下。

发明内容

根据本发明的一个方面，提供一种在大数据存储系统中对数据文件进行关联存储的方法，所述方法包括：

确定对大数据存储系统内的数据文件进行数据分析的多个数据业务所涉及的多个业务主题；

对所述多个业务主题中每个业务主题进行语义提取以确定与每个业务主题相关联的多个标签项；

将大数据存储系统的存储区域在逻辑上划分为基础存储区、强关联存储区、弱关联存储区以及临时存储区；

将所述大数据存储系统通过接口设备所接收的每个新的数据文件存储在基础存储区中并记录每个新的数据文件的起始存储时间，为每个新的数据文件生成摘要数据并将被存储到基础存储区中的每个新的数据文件用作基础数据文件；

将与基础数据文件的关联度大于或等于主题关联度阈值的业务主题组成基础数据文件的业务主题集合，将基础数据文件移动到所述临时存储区并用作临时数据文件；

在强和/或弱关联存储区中确定与临时数据文件相关联的每个业务主题相关联的强和/或弱关联数据文件集并生成临时数据文件的主题匹配集合；

将临时数据文件复制到主题匹配集合中相应业务主题的强和/或弱关联数据文件集中并标记为推荐文件，获取业务请求设备对相应业务主题的强和/或弱关联数据文件集中推荐文件的反馈信息；

确定与所接收到的反馈信息相关联的临时数据文件，并基于所接收到的反馈信息对相关联的临时数据文件的主题匹配集合中的匹配等级进行处理，利用所确定的匹配等级对所述相关联的临时数据文件的主题匹配集合进行更新；

确定在临时存储区中存储的时间达到时间阈值的特定的临时数据文件所归属的业务主题和文件集类型，并将所述特定的临时数据文件移动到强或弱关联存储区的与所归属的业务主题和文件集类型相对应的强或弱关联数据文件集中。

所述大数据存储系统存储多个数据文件，并且将所存储的多个数据文件划分为多个数据文件集，每个数据文件集均具有相关联的或所归属的业务主题；

对所述多个业务主题中每个业务主题进行语义提取以确定与每个业务主题相关联的多个标签项包括：

对所述多个业务主题中每个业务主题进行语义提取以获取能够描述每个业务主题的多个关键词，将能够描述每个业务主题的多个关键词确定为与每个业务主题相关联的多个标签项；

在将大数据存储系统的存储区域在逻辑上划分为基础存储区、强关联存储区、弱关联存储区以及临时存储区之前还包括：