[发明专利]一种基于Flink框架的数据去重方法及装置

权利要求书

1.一种基于Flink框架的数据去重方法，其特征在于，包括：

获取携带数据执行标识的数据执行请求；

根据所述数据执行标识，获取所述Flink框架中与所述数据执行标识对应的数据处理模型；

根据所述数据处理模型，判断所述数据执行请求携带的各视频数据中同一时间是否存在相同的车辆视频片段，并在各视频数据中同一时间存在相同的车辆视频片段时，对所述视频数据进行去重，得到所述去重视频数据；具体包括：按照时间顺序，处理各视频数据，得到各时间间隔中各视频数据中的车辆视频片段；根据各视频数据中的车辆视频片段，获取一视频数据中的车辆视频片段中的第一车辆信息；根据所述第一车辆信息，查找位于其他车辆视频片段中的第二车辆信息；根据所述第一车辆信息、所述第二车辆信息，判断所述第一车辆信息与所述第二车辆信息的相似度是否大于预设相似度；在所述第一车辆信息与所述第二车辆信息的相似度大于预设相似度时，判断所述第一车辆信息和第二车辆信息中是否存在车辆关键信息；在所述第一车辆信息和第二车辆信息中不存在车辆关键信息时，确定包含所述第一车辆信息的车辆视频片段与包含所述第二车辆信息的车辆视频片段为不同的车辆视频片段；在所述第一车辆信息和第二车辆信息中存在车辆关键信息时，确定包含所述第一车辆信息的车辆视频片段与包含所述第二车辆信息的车辆视频片段为相同的车辆视频片段；在同一时间间隔中各视频数据中存在相同的车辆视频片段时，删除相同的车辆视频片段中的重复车辆视频片段，得到去重视频数据。

2.如权利要求1所述的基于Flink框架的数据去重方法，其特征在于，所述在同一时间间隔中各视频数据中存在相同的车辆视频片段时，删除相同的车辆视频片段中的重复车辆视频片段，得到去重视频数据的步骤，包括：

获取相同的车辆视频片段中的各车辆视频片段的有效数据量；

根据各车辆视频片段的有效数据量，确定有效数据量最大的车辆视频片段；

保留有效数据量最大的车辆视频片段，并删除其他车辆视频片段，得到去重视频数据。

3.如权利要求1所述的基于Flink框架的数据去重方法，其特征在于，所述在同一时间间隔中各视频数据中存在相同的车辆视频片段时，删除相同的车辆视频片段中的重复车辆视频片段，得到去重视频数据的步骤，包括：

获取相同的车辆视频片段中的各车辆视频片段的清晰度；

根据各车辆视频片段的清晰度，确定清晰度最大的车辆视频片段；

保留清晰度最大的车辆视频片段，并删除其他车辆视频片段，得到去重视频数据。

4.如权利要求1所述的基于Flink框架的数据去重方法，其特征在于，所述根据所述数据处理模型，判断所述数据执行请求携带的各视频数据中同一时间是否存在相同的车辆视频片段，并在各视频数据中同一时间存在相同的车辆视频片段时，对所述视频数据进行去重，得到所述去重视频数据的步骤，包括：

获取所述去重视频数据、以及所述去重视频数据对应的重复视频数据；

根据所述去重视频数据、以及所述重复视频数据，赋予所述去重视频数据和所述重复视频数据相同的数据对应标识；

根据所述数据对应标识，将所述去重视频数据和所述重复视频数据存储在Hbase系统中。

5.如权利要求1所述的基于Flink框架的数据去重方法，其特征在于，所述根据所述数据执行标识，获取所述Flink框架中与所述数据执行标识对应的数据处理模型的步骤，包括：

根据所述数据执行标识，获取所述Flink框架与所述数据执行标识对应的Flink标识；

根据所述Flink标识，从所述Flink框架中获取所述数据处理模型。

6.如权利要求5所述的基于Flink框架的数据去重方法，其特征在于，所述根据所述Flink标识，从所述Flink框架中获取所述数据处理模型的步骤，包括：

设定初始数据处理模型；

获取测试视频数据、各测试视频数据对应的测试视频片段、以及各测试视频数据对应的测试去重视频片段；

采用初始数据处理模型处理各测试视频数据对应的测试视频片段，得到模型去重视频片段；

根据所述测试去重视频片段和模型去重视频片段，修正所述初始数据处理模型，得到数据处理模型。

7.一种基于Flink框架的数据去重装置，其特征在于，包括：

第一获取模块，用于获取携带数据执行标识的数据执行请求；

第二获取模块，用于根据所述数据执行标识，获取所述Flink框架中与所述数据执行标识对应的数据处理模型；

去重模块，用于根据所述数据处理模型，判断所述数据执行请求携带的各视频数据中同一时间是否存在相同的车辆视频片段，并在各视频数据中同一时间存在相同的车辆视频片段时，对所述视频数据进行去重，得到所述去重视频数据；具体用于：按照时间顺序，处理各视频数据，得到各时间间隔中各视频数据中的车辆视频片段；根据各视频数据中的车辆视频片段，获取一视频数据中的车辆视频片段中的第一车辆信息；根据所述第一车辆信息，查找位于其他车辆视频片段中的第二车辆信息；根据所述第一车辆信息、所述第二车辆信息，判断所述第一车辆信息与所述第二车辆信息的相似度是否大于预设相似度；在所述第一车辆信息与所述第二车辆信息的相似度大于预设相似度时，判断所述第一车辆信息和第二车辆信息中是否存在车辆关键信息；在所述第一车辆信息和第二车辆信息中不存在车辆关键信息时，确定包含所述第一车辆信息的车辆视频片段与包含所述第二车辆信息的车辆视频片段为不同的车辆视频片段；在所述第一车辆信息和第二车辆信息中存在车辆关键信息时，确定包含所述第一车辆信息的车辆视频片段与包含所述第二车辆信息的车辆视频片段为相同的车辆视频片段；在同一时间间隔中各视频数据中存在相同的车辆视频片段时，删除相同的车辆视频片段中的重复车辆视频片段，得到去重视频数据。