[发明专利]智能算法优化的数据图书馆建设方法

权利要求书

1.一种智能算法优化的数据图书馆建设方法，基于大数据处理框架下，其特征在于，包括以下步骤：

步骤S1、建立数据集分布式存储体系；

步骤S2、搭建深度学习框架；

步骤S3、预设智能优化算法对待训练算法模型进行优化训练；

所述步骤S1中具体步骤如下：

S11.建立基于Hadoop框架的分布式集群，优化HDFS数据分布存储阶段；

S12.根据数据集的领域进行分类、排序优化NameNode结构形成平台数据管理目录；

S13.将数据集进行分类并分为若干文件块，并分布于各个数据节点DataNode中；

所述步骤S2中，深度学习框架包括Tensorflow框架、Caffe框架以及Keras框架；所述Tensorflow框架的搭建依次包括定义添加神经层的函数、导入需要训练的数据、定义节点用于接受数据、定义神经层、定义optimizer使loss达到最小、对所有变量进行初始化并通过sess.run optimizer迭代多次进行学习；

其中，所述神经层包括隐藏层和预测层。

2.如权利要求1所述的智能算法优化的数据图书馆建设方法，其特征在于，所述文件块的大小为64M，每个文件块中的内容均进行备份存储。

3.如权利要求1所述的智能算法优化的数据图书馆建设方法，其特征在于，建设方法中还包括数据安全处理。

4.如权利要求3所述的智能算法优化的数据图书馆建设方法，其特征在于，所述数据安全处理为数据脱敏、数据加密和数据权限管理中的一种或多种。

5.如权利要求1所述的智能算法优化的数据图书馆建设方法，其特征在于，Caffe框架的搭建依次包括对所有数据格式处理成caffe支持的格式、建立网络结构文件和参数文件；

其中，参数文件包括学习率、权重衰减系数、迭代次数。

6.如权利要求1所述的智能算法优化的数据图书馆建设方法，其特征在于，所述Keras框架搭建依次包括选择模型、构建网络层、编译、训练和预测。

7.如权利要求1所述的智能算法优化的数据图书馆建设方法，其特征在于，所述步骤S3中具体步骤如下：

S31.确定优化模型的假设函数h_θ(x)和损失函数J(θ)分别为：

其中，θ_i(i＝0，1，2，，...，n)为模型参数，x_i(i＝0，1，2，...，n)为每个样本的n个特征值；

S32.初始化参数θ₀，θ₁，...，θ_n、算法终止距离∈以及步长α；将所有θ_i初始化为0，将步长α初始化为1；

S33.确定当前位置的损失函数的梯度，对于θ_i的梯度表达式如下：

S34.用步长乘以损失函数的梯度，得到当前位置下降的距离如下：

S35.确定是否所有的θ_i对应的梯度下降的距离都小于ε，若小于ε则智能优化算法终止，当前所有的θ_i(i＝0，1，...，n)为目标结果，否则转入步骤S34；

S36.将目标结果进行表达式更新如下，之后转入步骤S31中；