[发明专利]一种数据处理方法、装置及数据深度学习系统

说明书

本发明提供了一种数据处理方法、装置及数据深度学习系统，其方法包括：获取采样样本的样本类别；按照预设代价函数，计算网络输出值和样本期望值之间的误差信息；其中，网络输出值是采样样本的样本数据经深度学习处理后的值，样本期望值是与样本类别对应的；根据样本类别和误差信息，计算代价函数的类别权重。本发明支持随机样本采样，提高处理效率，可以实现不均衡类别的类别权重的自适应，降低专业性要求。

技术领域

本发明涉及通信技术领域，尤其涉及一种数据处理方法、装置及数据深度学习系统。

背景技术

在深度学习中，样本不均衡是指不同类别的数据量差别较大，利用不均衡样本训练出来的模型泛化能力差并且容易发生过拟合。通常对不均衡数据的处理方法有对数据重采样，对数量多的样本进行降采样，或者对数量少的样本进行过采样以增加数据，这样不仅需要花费时间收集和整理数据，而且往往因为数据的低频特性难以执行。另外对不均衡数据的处理方法有对代价函数进行加权，由于权重的搜索空间大，同时受制于技术人员的经验水平，往往耗费时间而无法得到最优解。这些方法都需要技术人员花费时间和精力去完成，而且对技术人员有相当高的水平要求。

发明内容

本发明提供一种数据处理方法、装置及数据深度学习系统，解决了不均衡数据处理过程中处理效率低、专业要求高的问题。

本发明的实施例提供了一种数据处理方法，应用于数据深度学习系统，其中，数据处理方法包括：

获取采样样本的样本类别；

按照代价函数，计算网络输出值和样本期望值之间的误差信息；其中，网络输出值是采样样本的样本数据经深度学习处理后的值，样本期望值是与样本类别对应的；

根据样本类别和误差信息，计算代价函数的类别权重。

可选地，根据样本类别和误差信息，计算代价函数的类别权重的步骤，包括：

根据样本类别和误差信息，计算相同样本类别的采样样本的误差值；

根据样本类别和误差值，计算不同样本类别的采样样本的误差反比；

根据误差反比，计算代价函数的类别权重。

可选地，根据样本类别和误差信息，计算相同样本类别的采样样本的误差值的步骤，包括：

根据样本类别和误差信息，计算相同样本类别的多个采样样本的平均误差值；平均误差值为多个采样样本的算术平均误差，或者，平均误差值为多个采样样本的加权平均误差。

可选地，根据样本类别和误差信息，计算代价函数的类别权重的步骤，包括：

当需要更新数据深度学习系统的网络参数时，根据样本类别和误差信息，计算代价函数的类别权重。

可选地，网络参数包括：深度学习神经网络层的参数、误差信息的均值和代价函数的类别权重中的至少一项。

可选地，样本类别不同所对应的样本期望值不同。

可选地，获取采样样本的样本类别的步骤，包括：

逐次获取一个样本批次的采样样本，一个样本批次包括预设数目的采样样本，一个采样样本对应一个样本类别及一个样本数据。

本发明的实施例还提供了一种数据处理装置，应用于数据深度学习系统，该数据处理装置包括：

获取模块，用于获取采样样本的样本类别；

第一计算模块，用于按照代价函数，计算网络输出值和样本期望值之间的误差信息；其中，网络输出值是采样样本的样本数据经深度学习处理后的值，样本期望值是与样本类别对应的；

第二计算模块，用于根据样本类别和误差信息，计算代价函数的类别权重。