[发明专利]无标签电子交易数据的处理方法、系统、介质及终端

说明书

本发明提供一种无标签电子交易数据的处理方法、系统、介质及终端；所述处理方法包括以下步骤：获取数据集；数据集中包括异常数据和无标签数据；计算无标签数据的离群分数；计算无标签数据的异常相似分数；基于离群分数和异常相似分数，对无标签数据进行分类；获取经分类后的无标签数据的可靠性权重；本发明综合离群性和异常相似性，对无标签数据进行分类，以获取分类后添加了伪标签的伪标签数据，并通过衡量伪标签数据的可靠性权重，实现了对无标签数据的有效处理，为无标签数据的正确识别提供了双重保障；利用原有正常数据、异常数据及添加了伪标签的伪标签数据训练无标签数据分类网络，有效提高了无标签数据分类网络的分类性能。

技术领域

本发明属于电子交易风险检测领域，特别是涉及一种无标签电子交易数据的处理方法、系统、介质及终端。

背景技术

风险检测是常用的质量检测方法，该方法广泛应用于各行业的业务分析，用来检测业务中潜在的风险，以便提前发现和控制；对于一般企业或监管部门，风险检测的方式主要分为三种：其一是利用质检员逐一对被检测对象进行检查，发现被检测品的风险；其二是对被检测对象进行抽检，发现被检测品的风险；其三是通过对生产该产品的信息化数据及历史数据，预测每一个被检测对象风险的概率，然后对较高风险的被检测品进行实际的抽检。

上述描述的三种风险检测方式中，第一种是对全量数据进行检查，适用于检测项目不多，技术难度较小的产品，往往适用于检测本企业所生产的产品(具有产品单一，技术简单的特点)；第二种检测方法使用场景与第一种场景类似，对产品种类多，技术复杂的产品不适用，该方式可以统计出合格(正常)被检测品的占比，但会放过一定比例的风险被检测品；第三种主要利用现有信息化系统，通过对历史数据建模(实际是构造一个分类器)，根据被检测品的特征数据发现风险概率，只要历史数据有标签，可以适用多类产品，而且完全从数据上来发现规律，涉及较少的技术细节，应用范围广。

在政府监管部门中，涉及到的监管对象行业众多、产品丰富；如海关对进出口虚假贸易做检测，就会涉及参与贸易的所有行业及产品；因此，前面提到的前两种检测方式需要耗费大量的人力及时间而显得不太合适。第三种方式从数据来检测各被检测品的风险，需要历史标签数据，但由于各种原因，很多系统并未存入标签数据，因此该方法存在预测精度低的技术问题，并且，由于其严重依赖历史数据已经标注的标签，无法应用于无标签数据预测的环境，也无法用于对异常检测的业务场景。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种无标签电子交易数据的处理方法、系统、介质及终端，用于解决现有技术中从无标签数据中识别出异常数据困难、对无标签数据的处理效果不理想的问题。

为实现上述目的及其他相关目的，本发明提供一种无标签电子交易数据的处理方法，包括以下步骤：获取数据集；所述数据集中包括异常数据和无标签数据；计算所述无标签数据的离群分数；计算所述无标签数据的异常相似分数；基于所述离群分数和所述异常相似分数，对所述无标签数据进行分类；获取经分类后的无标签数据的可靠性权重。

于本发明的一实施例中，计算所述无标签数据的离群分数包括：采用局部异常因子算法计算所述离群分数；计算公式为：

其中，O_Score(x)表示无标签数据x的离群分数；无标签数据x＝R^d，R^d表示数据空间，d表示无标签数据的特征维度；LOF(x)表示无标签数据x通过局部异常因子算法计算得到的结果。

于本发明的一实施例中，计算所述无标签数据的异常相似分数包括以下步骤：对所述异常数据进行聚类，产生至少一异常簇，并获取所述异常簇的中心数据；计算所述无标签数据与所述中心数据的距离；基于所述距离，获取所述异常相似分数。

于本发明的一实施例中，计算所述无标签数据与所述中心数据的距离的计算公式为：