[发明专利]数据处理方法及设备

说明书

本申请实施例提供一种数据处理方法及设备。其中，方法包括如下的步骤：确定有关交易系统的多个观测变量；所述多个观测变量中包括连续型变量和离散型变量；根据所述多个观测变量中各所述观测变量的变量类型，确定各所述观测变量对应的核函数带宽；根据基于各所述观测变量对应的核函数带宽确定的核函数，将各所述观测变量的观测值映射到特征空间，得到各所述观测变量的特征；根据多个所述观测变量的特征，对所述多个观测变量进行独立性检验，得到独立性检验结果；根据所述独立性检验结果，确定所述多个观测变量之间的因果关系。本申请实施例提供的技术方案可提高因果关系的发现准确率。

技术领域

本申请涉及数据挖掘技术领域，尤其涉及一种数据处理方法及设备。

背景技术

因果关系能够揭示系统背后的运作机制、以高度可解释的方式还原数据生成过程。目前，因果关系学习在市场营销、医疗、制造业、金融等等领域有着广泛的应用，用于洞察系统本质，继而指导决策。例如：在商业分析中的异常诊断、运维中的故障定位等应用中，发掘系统的运行机理及其各个因素的因果关系是进行深度归因的先决条件，也即只有先找到导致表面问题的各个因素才能进行深度归因。

一般来说，在简单的确定性系统内依据系统内各个功能组件的结构关系及处理流程，比较容易得到一个确定性的因果网络。然而在大型的、复杂的、包含不确定性的系统中，并不能仅仅依靠先验知识构建一个因果网络。因此，在解决复杂问题的深度归因时，因果关系的发现是非常重要的一步。

目前，现有的因果关系发现方法的精度并不能令人满意。

发明内容

鉴于上述问题，提出了本申请以提供一种解决上述问题或至少部分地解决上述问题的数据处理方法及设备。

于是，在本申请的一个实施例中，提供了一种数据处理方法。该方法包括：

确定有关交易系统的多个观测变量；所述多个观测变量中包括连续型变量和离散型变量；

根据所述多个观测变量中各所述观测变量的变量类型，确定各所述观测变量对应的核函数带宽；

根据基于各所述观测变量对应的核函数带宽确定的核函数，将各所述观测变量的观测值映射到特征空间，得到各所述观测变量的特征；

根据多个所述观测变量的特征，对所述多个观测变量进行独立性检验，得到独立性检验结果；

根据所述独立性检验结果，确定所述多个观测变量之间的因果关系。

在本申请的又一实施例中，提供了一种数据处理方法。该方法，包括：

确定相关图；所述相关图包括作为节点的多个观测变量以及多个无向边；所述多个观测变量中包括连续型变量和离散型变量；所述多个观测变量与交易系统有关；

当所述连续型变量作为子节点时，采用非线性加性噪声模型拟合所述连续型变量与所述相关图中所述连续型变量的潜在父节点之间的因果关系，以确定从所述连续型变量的潜在父节点指向所述连续型变量的有向边的第一分数；所述第一分数与所述连续性变量的潜在父节点作为所述连续性变量的父节点的可能性相关；

当所述离散型变量作为子节点时，采用后非线性模型拟合所述离散型变量与所述相关图中所述离散型变量的潜在父节点之间的因果关系，以确定从所述离散型变量的潜在父节点指向所述离散型变量的有向边的第二分数；所述第二分数与所述离散型变量的潜在父节点作为所述离散型变量的父节点的可能性相关；

根据所述第一分数和所述第二分数，确定所述相关图中所述多个无向边的方向，以得到所述多个观测变量之间的因果关系。

在本申请的又一实施例中，提供了一种数据处理方法。该方法，包括：

确定多个观测变量；所述多个观测变量中包括连续型变量和离散型变量；