[发明专利]一种考虑竞争模式的关联挖掘算法

权利要求书

1.一种考虑竞争模式的关联挖掘算法，其特征在于：

每笔理财产品交易记录的形式为二元组：ID，ProdList；其中ID为交易的序列号，ProdList是在一笔交易中数目不等的理财产品列表；

(一)生成频繁项集：

1)初始化计算支持度：扫描全部交易，设最小支持度为MinSupt；遍历所有理财产品，生成每个产品的1项集；每个产品的1项集的支持度为其中N为全部交易的笔数，n_p为理财产品p出现在交易记录中的交易记录数量；筛选支持度不小于最小支持度MinSupt的理财产品列表，得到频繁1项集列表；

2)自连接与剪枝：将上一步得到的频繁1项集列表中的项集进行自连接，生成2项集；随后进行剪枝处理，即对于生成的2项集，将子集含有非频繁项集的2项集剔除，生成2项集列表；

3)计算支持度：对于第二步生成的2项集列表，计算每个项集的支持度其中表示含有2项理财产品的2项集p₂在全部交易中出现的交易次数，筛选支持度不小于最小支持度的理财产品列表，得到频繁2项集列表；

4)按照2，3步的方式，将2项集自连接并剪枝，筛选后得到频繁3项集列表；循环得到包含更多产品的项集列表；直到没有符合条件的项集列表，循环停止；

(二)生成关联规则

设第一步生成的频繁项集中的某项集{p_i，p_j}的支持度为supt({p_i，p_j})，则置信度筛选置信度不小于最小置信度的理财产品列表，得到关联规则；

a)生成关联规则

A.生成频繁2项集

(1)计算支持度：遍历全部理财产品交易记录，遍历所有理财产品，生成每个产品的1项集；1项集每个产品的支持度为其中N为全部交易的笔数，n_p为理财产品p出现的交易笔数；筛选支持度不小于最小支持度MinSupt1的理财产品，得到频繁1项集列表；MinSup1取各产品支持度的平均数或中位数，若为小数则向下取整，即只选取整数位；

(2)自连接：将上一步得到的频繁1项集列表进行自连接，生成2项集，形式为{p_i，p_j}；计算2项集各产品对的支持度其中N为全部交易的笔数，为理财产品对{p_i，p_j}出现的交易笔数；筛选支持度不小于最小支持度MinSupt2的理财产品对，得到频繁2项集列表；MinSupt2取各产品对支持度的平均数或中位数，若为小数则向下取整，即只选取整数位；

B.生成关联规则

将频繁2项集中的每一个产品对作为一条关联规则，格式如p_i，p_j，1，此处有标志位1表示此规则为关联规则；计算每条规则的置信度设最小置信度为MinConf，筛选置信度不小于最小置信度的理财产品对列表，得到关联规则网络Net＝[P,M,T]；其中P为理财产品集合，即P＝[p₁，p₂...p_u]，p为单个理财产品，u为理财产品总数；M为关联规则集合，即M＝[m₁，m₂...m_v]，m为单条规则，形式为p_i，p_j，1，每条规则描述2个理财产品具有强关联关系，v为关联规则总数；T是理财产品描述标签的集合，即T＝[t₁，t₂...t_w],t为单条标签，w为标签总数,其中单个理财产品由s条标签描述，其中s的取值范围为[0，w]；MinConf取各规则置信度的平均值或中位数；

b)协作关联采样：遍历关联规则网络中的每条关联规则m，去除掉关联规则本身自带的指向性，生成协作关联集合C_p；协作关联集合表示产品之间具有强关联；步骤如下：

输入：关联规则网络Net＝[P,M,T]

2.1初始化C_p为空集

2.2对于关联规则集合中的每一条关联规则

2.2.1将关联规则按照理财产品ID由小到大排序后，赋值给临时变量c_p；即c_p←＜p_i，p_j，1＞(i＜j)；

2.2.2检查临时变量c_p是否属于协作关联集合C_p；若不属于集合，则将c_p加入C_p；即C_p←C_p∪{c_p}；

返回C_p作为采样的协作关联集合；

c)竞争关联采样：对于任意两个不属于关联规则的理财产品p_i，p_j，组合生成竞争关联备选集合C₀，表示产品之间具有竞争关系；C₀中每条备选竞争关联c₀的采样概率为按照此概率对C₀进行随机欠采样，生成一个大小为L的子集L的取值与协作关联集合的大小一样；具体步骤如下：

输入：关联规则网络Net＝[P,M,T],竞争规则采样总数L,协作关联集合C_p

3.1初始化竞争关联备选集合C₀为空集

3.2对于任意两个按照产品ID排序的理财产品

3.2.1如果该理财产品组合不属于协作关联集合C_p，即则：

3.2.1.1生成竞争关联，格式如p_i，p_j，-1，此处-1为标志位，表示此关联为竞争关联；将其赋值给临时变量c₀；即c₀←p_i，p_j，-1(i＜j)

3.2.1.2检查c₀是否属于C₀，若不属于竞争关联备选集合，则将该竞争关联加入C₀；即C₀←C₀∪{c₀}返回C₀作为竞争关联备选集合；

3.3对3.2步最终生成的竞争关联备选集合C₀进行随机欠采样，定义对于集合C₀中每条竞争关联c₀的采样概率为随机采样为一个大小为L的集合其中Nor是归一化系数,以保证product(c₀)为竞争关联c₀＝p_i，p_j，-1的热度积，其定义为product(c₀)＝pop(p_i)*pop(p_j)，此处pop(p)表示理财产品p的热度，即为用户对理财产品产生行为的次数；time(c₀)为竞争关联c₀＝＜p_i，p_j，-1＞的冷却时间，其定义为time(c₀)＝now-max(date(p_i)，date(p_j))，其中date(p)表示理财产品p的发布时间，max(date(p_i)，date(p_j))表示两个产品中发布时间比较晚的时间点，now表示当前时间点；

返回C_L作为竞争关联集合；

d)产生备选关联规则：首先，通过关联采样得到一个均衡的训练关联集C＝C_p∪C_L；如果训练关联集C中至少存在一个关联服从某规则r，则此规则就被视为备选规则；例如有一规则r为：用户喜欢购买同一银行的理财产品；若C中有产品对p_i，p_j，1或p_i，p_j，-1，p_i和p_j的银行属性标签属于同一银行，则r作为备选规则；关联集C相应的完全备选关联规则集表示为即将产品的标签和标签数量都符合的关联规则r加入备选关联规则集中；

定义关联规则r的支持度为supp(r)；supp(r)为集合C中服从该规则的理财产品关联数量，即

定义关联规则r的显著度为sig(r)；sig(r)为关联集C中服从该规则的理财产品的协作关联数量与竞争关联数量的差值，和协作关联与竞争关联之和的比值，即

如果规则r是协作关联规则，那么r满足的理财产品协作关联数量不少于竞争关联数量，即sig(r)不小于零；反之规则r是竞争关联规则；

基于关联规则的支持度和显著度，提出可靠的理财产品关联规则备选集生成算法：

输入：理财产品关联集合C＝C_p∪C_L，最小的关联规则支持度MinSupp和最小的关联规则显著度MinSig；

4.1初始化备选关联规则集为空集可靠备选关联规则集R_c为空集

4.2对于每个理财产品关联c＝p₁，p₂，1∈C或c＝p₁，p₂，-1∈C：

4.2.1将符合关联c的规则r加入备选关联规则集即

4.3对于每一条理财产品关联规则

4.3.1如果规则r的支持度supp(r)不小于最小支持度MinSupp；即supp(r)≥MinSupp，且置信度sig(r)的绝对值不小于最小置信度MinSig，即|sig(r)|≥MinSig，则：

4.3.1.1将规则r加入可靠备选关联规则集R_c，即R_c←R_c∪{r}

返回R_c作为可靠的备选理财产品关联规则集；MinSupp的设定是平均值或中位数，若为小数则向下取整，即只选取整数位；MinSig的设定显著度绝对值的平均值或中位数，若为小数则向下取整，即只选取整数位；

e)关联规则树模型的训练：定义关联规则树是一个二叉树，其中每个非叶子节点包含一条理财产品关联，而每个叶子节点中含有理财产品关联的标签；1表示协作关联，-1表示竞争关联；

关联规则树的训练过程如下：

输入：训练关联集C＝C_p∪C_L，可靠备选规则集R_c和树的最大深度d；格式如RuleTree(C，R_c，d)；

5.1如果竞争关联集合C_L为空集，即且C＝C_p，则：

返回一棵单节点的树，根节点为1；

5.2如果协作关联集合C_p为空集，即且C＝C_L，则：

返回一棵单节点的树，根节点为-1；

5.3如果可靠备选关联规则集即d＝0，则：

返回一棵单节点的树，根节点符号和集合C中数量最多类别的产品关联相同，数量相同时观察父节点规则；父节点规则为协作规则时节点符号定为1，为竞争规则时节点符号定为-1；

5.4选择最优关联规则r∈R_c，使得样本集熵H(C₊，C_-)最小，当熵最小时，样本分类准确率最高；

5.5将符合规则r的样本赋值给集合变量C₊，作为关联规则树的左子树样本集输入，即

5.6将不符合规则r的样本赋值给集合变量C_-，作为关联规则树的右子树样本集输入，即C_-←C-C₊；

返回一棵关联规则树，其根节点为r，左子树为RuleTree(C₊，R_c-{r}，d-1)，右子树为RuleTree(C_-，R_c-{r}，d-1)；然后递归调用RuleTree算法进行处理；

每个候选规则训练数据集分成两个子集,满足规则的产品关联的C₊和剩下的产品关联C_-；其结果的熵是：

选择最优的关联规则r使得熵H(C₊,C_-)最小，即分类准确度最高；并将r作为树的根节点，递归在集合C₊和C_{_}上调用RuleTree算法；

所构建的每一棵关联规则树的深度都被限制为1，即每棵树仅包含一个规则作为其根节点，以及标记为1和-1的两个叶子节点；在主循环的每次迭代中，RuleScore基于当前权重的理财产品关联训练集训练一个深度为1的关联规则树，然后更新该规则树的分类情况计算该规则树的评分，并更新训练样本的权重；正值评分的规则表示协作规则，负值评分的规则表示竞争规则；RuleScore算法具体步骤如下：

输入：均衡的训练样本集C＝C_p∪C_L和可靠备选规则集R_c，以及最大的迭代次数Q；

6.1初始化所有理财产品关联的权重此处account(C)为样本集C的总数；

6.2初始化所有备选规则的评分为Score(c)＝0；

6.3在第q(q＝1,…,Q)次迭代中：

6.3.1基于样本权重D_q(c)训练关联规则树γ_q(r)＝RuleTree(C，R_c，1)，其根节点为r；

6.3.2计算γ_q(r)对于C的错误分类率此处error(c)为关联规则树对样本的分类错误数量，account(C)为样本总数量；

6.3.3计算规则树的得分α_q＝0.5ln((1-ε_q)/ε_q)，ε_q＝0时，α_q＝1；

6.3.4更新规则得分：Score(r)＝Score(r)+α_q；

6.3.5对于每个被γ_q(r)正确分类的样本c，更新样本权重为

6.3.6对于每个被γ_q(r)错误分类的样本c，更新样本权重为

6.3.7归一化样本集C使得总权重∑_c∈CD_q+1(c)＝1；

返回所有关联规则的评分

基于关联规则的产品组合预测：

对于一个关联规则r∈r_c，如果符合该规则的协作关联样本权重之和不小于竞争关联样本权重之和，则r是一个协作关联规则，反之r是一个竞争关联规则；考虑两个理财产品p_i，p_j∈P，那么可靠备选规则集合R_c中满足理财产品关联c＝p_i，p_j，f(p_i，p_j)的规则集合为此处f(p_i，p_j)为两个产品的可组合性评分；

计算理财产品p_i，p_j的可组合性评分f(p_i，p_j)的预测值为如果R(p_i，p_j)中的协作规则越多，则f^*(p_i，p_j)的值越大；如果R(p_i，p_j)中的竞争规则越多，则f^*(p_i，p_j)的值越小；因此，如果f(p_i，p_j)的预测值f^*(p_i，p_j)＞0，则两个理财产品p_i，p_j进行组合；反之不适合构建产品组合。