[发明专利]数据冗余处理方法、系统、介质及装置

说明书

本发明提供一种数据冗余处理方法、系统、介质及装置，所述方法包括以下步骤：分别按照预设方法计算同一主题下每种格式的数据各自的相似度；为每个数据设置相似度权值，将数据的相似度与其相似度权值相乘得到所述数据的相似度值；将同一主题下数据的相似度值求和得到对应主题的相似度总值；按照所述相似度总值的高低排列主题。本发明的一种数据冗余处理方法、系统、介质及装置，用于对具有不同格式的数据的主题的相似度总值进行计算，方便对于具有不同格式的数据的主题的重复数据的管理。

技术领域

本发明涉及数据管理技术领域，特别是涉及一种数据冗余处理方法、系统、介质及装置。

背景技术

在运维人员通常要在云端后台系统上传图片、文字、视频、音频等不同格式的数据，这些数据在网络中传输在云端存储和备份，这个过程中可能出现的冗余文件、错误文件。例如,系统回滚了数据库事务，但是错误的文件没有回滚。再比如，用户上传了两个版本的数据，而哪一个是最终版用户没有明确。总结来说，系统出现冗余数据可能是1)多个完全相同的数据文件冗余；2)多个近视文件冗余；3)坏损文件冗余。

由于所涉及的文件主要是多媒体文件包括：图片、文字、视频、音频等不同格式，每种类型的文件的冗余排查办法不同，导致系统没有一套高效的管理手段处理诸多冗余。由于一个主题可能既包含文字又包含图片、视频、音频等信息，没有一个统一的处理机制导致比对相识度问题较差，同时处理效率不高，这需要一种统一的手段，从数据底层提出算法解决冗余问题。

因此，希望能够解决如何对具有不同格式的数据的主题进行管理，解决具有不同格式的数据的主题的数据冗余的问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种数据冗余处理方法、系统、介质及装置，用于解决现有技术中如何对具有不同格式的数据的主题进行管理，解决具有不同格式的数据的主题的数据冗余的问题的问题。

为实现上述目的及其他相关目的，本发明提供一种数据冗余处理方法，包括以下步骤：分别按照预设方法计算同一主题下每种格式的数据各自的相似度；为每个数据设置相似度权值，将数据的相似度与其相似度权值相乘得到所述数据的相似度值；将同一主题下数据的相似度值求和得到对应主题的相似度总值；按照所述相似度总值的高低排列主题。

于本发明的一实施例中，所述预设方法为：将数据按照其格式拆分成预设数量和格式的分块；采用预设的相似度比较算法计算同一格式的数据的相似度。

于本发明的一实施例中，所述数据格式包括：文字、图片、视频、音频。

于本发明的一实施例中，还包括进行相似度总值计算的主题的范围设置。

为实现上述目的，本发明还提供一种数据冗余处理系统，包括：相似度计算模块、固定值计算模块、相似度总值计算模块和排列模块；所述相似度计算模块用于分别按照预设方法计算同一主题下每种格式的数据各自的相似度；所述固定值计算模块用于为每个数据设置相似度权值，将数据的相似度与其相似度权值相乘得到所述数据的相似度值；所述相似度总值计算模块用于将同一主题下数据的相似度值求和得到对应主题的相似度总值；所述排列模块用于按照所述相似度总值的高低排列主题。

于本发明的一实施例中，所述相似度计算模块还用于：将数据按照其格式拆分成预设数量和格式的分块；采用预设的相似度比较算法计算同一格式的数据的相似度。

于本发明的一实施例中，所述数据格式包括：文字、图片、视频、音频。

于本发明的一实施例中，还包括设置模块用于进行相似度总值计算的主题的范围设置。

为实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一上述数据冗余处理方法。