[发明专利]数据仓库的指标检测方法、装置和系统

说明书

本申请公开了一种数据仓库的指标检测方法、装置和系统。其中，该方法包括：如果检测到数据仓库中存在需要判重的指标，获取需要判重的指标的实体样本，并获取全量指标数据源，其中，实体样本用于记录需要判重的指标及对应的实体，全量指标数据源为预先设置的指标库中的所有指标及对应的实体；使用迭代碰撞分析模型，对实体样本和全量指标数据源进行迭代碰撞处理，识别出需要判重的指标是否为重复指标。本申请解决了数据仓库中不同的特征数据库(例如指标库、风险特征库、用户画像特征库和风险模型特征库等)存在指标重复，现有技术中采用正向逻辑检测的方法来检测重复指标，导致检测指标重复的效率低且准确率低的技术问题。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据仓库的指标检测方法、装置和系统。

背景技术

目前的数据仓库中包含多种不同的特征数据库，例如指标库、风险特征库、用户画像特征库和风险模型特征库等，为了解决不用特征数据库中存在指标重复的问题，现有技术中提供了两种方法，一种方法为通过规范指标命名，确定指标的唯一性；另一种方法为通过文本分析及血缘，来分析指标的计算逻辑的相似性。目前这两种方法均是采用正向逻辑检测的方法，但是，由于命名规范性无法系统管控，而且血缘分析涉及多级血缘，识别率有限，导致检测指标重复的效率低且准确率低。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据仓库的指标检测方法、装置和系统，以至少解决数据仓库中不同的特征数据库(例如指标库、风险特征库、用户画像特征库和风险模型特征库等)存在指标重复，现有技术中采用正向逻辑检测的方法来检测重复指标，导致检测指标重复的效率低且准确率低的技术问题。

根据本申请实施例的一个方面，提供了一种数据仓库的指标检测方法，包括：如果检测到数据仓库中存在需要判重的指标，获取需要判重的指标的实体样本，并获取全量指标数据源，其中，实体样本用于记录需要判重的指标及对应的实体，全量指标数据源为预先设置的指标库中的所有指标及对应的实体；使用迭代碰撞分析模型，对实体样本和全量指标数据源进行迭代碰撞处理，识别出需要判重的指标是否为重复指标。

根据本申请实施例的另一方面，还提供了一种数据仓库的指标检测装置，包括：获取模块，用于如果检测到数据仓库中存在需要判重的指标，获取需要判重的指标的实体样本，并获取全量指标数据源，其中，实体样本用于记录需要判重的指标及对应的实体，全量指标数据源为预先设置的指标库中的所有指标及对应的实体；处理模块，用于使用迭代碰撞分析模型，对实体样本和全量指标数据源进行迭代碰撞处理，识别出需要判重的指标是否为重复指标。

根据本申请实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行如下步骤：如果检测到数据仓库中存在需要判重的指标，获取需要判重的指标的实体样本，并获取全量指标数据源，其中，实体样本用于记录需要判重的指标及对应的实体，全量指标数据源为预先设置的指标库中的所有指标及对应的实体；使用迭代碰撞分析模型，对实体样本和全量指标数据源进行迭代碰撞处理，识别出需要判重的指标是否为重复指标。

根据本申请实施例的另一方面，还提供了一种计算机设备，包括：处理器，处理器用于运行程序，其中，在程序运行时执行以下步骤：如果检测到数据仓库中存在需要判重的指标，获取需要判重的指标的实体样本，并获取全量指标数据源，其中，实体样本用于记录需要判重的指标及对应的实体，全量指标数据源为预先设置的指标库中的所有指标及对应的实体；使用迭代碰撞分析模型，对实体样本和全量指标数据源进行迭代碰撞处理，识别出需要判重的指标是否为重复指标。