[发明专利]一种基于正交勒让德小波的可学习激活函数方法

权利要求书

1.一种基于正交勒让德小波的可学习激活函数方法，其特征在于，步骤如下：

S1:针对特定任务数据，划分数据集为训练集、测试集；设定最大计算量MaxCal；

S2：选定网络模型，初始化网络参数、激活函数结构参数K、M，数值参数C；

S3：根据参数K、M、C生成勒让德小波，替换网络中激活函数；

S4：确定结构参数K；

S5：使用训练集训练模型，确定结构参数M；

S6：再次使用训练集训练模型，确定数值参数C，得到最优激活函数和网络权重W；

S7：将K、M、C代入勒让德小波，得到最优激活函数；

S8：将最优激活函数代入网络模型，使用测试集进行测试；

S9：将测试结果与主流方法设计出的激活函数进行比较。

2.根据权利要求1所述的一种基于正交勒让德小波的可学习激活函数方法，其特征在于，选定数据集，将数据集按照一定比例划分为训练集和测试集；同时设定最大计算量MaxCal，限制网络反向传播过程中不得超过该计算量。

3.根据权利要求1所述的一种基于正交勒让德小波的可学习激活函数方法，其特征在于，选择深度网络模型，将网络各层的参数进行随机初始化，不载入任何预训练权重。

4.根据权利要求1所述的一种基于正交勒让德小波的可学习激活函数方法，其特征在于，勒让德小波按照下列方式生成：

式中，m是勒让德多项式的阶，取值为m＝2,3,…,M,t为激活函数输入；L_m(t)表示m阶勒让德多项式，由下面的递推公式得到：

L₀(t)＝1 L₁(t)＝t

5.根据权利要求4所述的一种基于正交勒让德小波的可学习激活函数方法，其特征在于，将区间[0,1]平均分为2^k-1个激活区间，表示为：

对特征提取器提取到的特征矩阵t进行极大极小归一化处理，得到新的矩阵t'。

6.根据权利要求5所述的一种基于正交勒让德小波的可学习激活函数方法，其特征在于，每个激活区间对应的M个勒让德小波和权值C，K、M皆为超参数；C为2^k-1M个可学习的参数，使用梯度下降法随网络一同更新；将代入对应区间的勒让德小波，与对应区间加权求和得到激活函数最终输出。

7.根据权利要求1所述的一种基于正交勒让德小波的可学习激活函数方法，其特征在于，使用S4、S5、S6中确定好的K、M、C值，并根据S3中的勒让德小波生成方式构造激活函数。

8.根据权利要求1所述的一种基于正交勒让德小波的可学习激活函数方法，其特征在于，使用S7中的最优激活函数替换网络中原本激活函数，并将网络在测试集进行测试，观察网络总体进度和收敛情况。

9.根据权利要求1所述的一种基于正交勒让德小波的可学习激活函数方法，其特征在于，将既定网络中激活函数替换为ReLU、tanh、sigmoid、swish等主流激活函数、重新训练整个网络，然后在测试集上做同样的精度和收敛测试，结果与S7中得到的结果相比较，以确定该勒让德小波激活函数在该模型和数据集下的实用性。