[发明专利]一种基于深度学习与强化学习的室内声学行为识别方法

说明书

本发明一种基于深度学习与强化学习的室内声学行为识别方法，涉及室内声学行为识别技术领域。本发明包括A通过终端声音传感器实时获取室内原始声音数据，并将其转换成不包含隐私的特征数据；B将特征数据中包含的用户行为作为标签和特征数据，输入到深度强化学习网络中训练；C在训练过程中，每次提供一定批次的特征数据给深度强化学习网络，并由深度强化学习网络进行预测，根据其预测结果，动态决定下一批次所提供的各分类特征数据的比例及回报值R的值；D根据深度强化学习网络对上一批次的各个分类进行预测的错误率，决定是否停止训练等步骤。本发明在只使用不平衡数据集作训练深度强化学习网络的情况下，极大提高深度强化学习网络预测准确率。

技术领域

本发明涉及室内声学行为识别技术领域，具体指一种基于深度学习与强化学习的室内声学行为识别方法。

背景技术

为了实时识别室内环境下的用户行为，使智能家居等应用更好的服务用户，促进了基于声学行为识别的发展。现有技术通常采用深度学习方法在原始声音数据上进行训练。由于现有用于训练的数据样本中存在类别不平衡的问题，部分行为类别下的样本数目远小于其他类别下的样本数目。因此，目前针对声学分类的各种深度学习算法都没有很好的解决类别不平衡的声学分类的问题，导致声学分类更多的倾向于学习大类样本的特征，而忽略了小类样本，然而小样本中通常包含着很多重要信息，而且对小类别的样本的识别准确率与对大样本的识别准确率同样重要。

其中，类别不平衡问题是是机器学习领域中的一个常见的问题，具体表现为：数据集中的属于一个分类或几个分类的样本数量，远低于属于其他分类的样本的数量。例如在贷款申请的数据集中，绝大多数的用户都是守信的，只有极小比例的用户的行为会被判定诈骗，各个分类的比例是不平衡的。如果不去对数据集本身或者算法策略进行相应的改进，直接进行分类训练，会导致对具有少数样本的分类产生较差的预测结果，甚至有可能会被当作噪声而忽略，从而导致分类结果的严重偏差。基于此，如何改进数据集或算法来应对类别不平衡的情况，并从中得到理想中的结果，就成为需要深入研究的问题。对于分类不平衡问题，目前有两种主流的优化思想：(1)改变数据集的原始分布，对多数类样本进行降采样，或对少数类样本进行过采样，或二者结合，使得数据集不同类别之间的数量尽量均衡；(2)优化分类器模型，如在训练的过程中，对少数类样本的权重进行提升，使其得到充分重视。许多研究和实验都表明两种方法对分类结果的准确性皆有良好提升。

发明内容

本发明的目的在于提供一种基于深度学习与强化学习的室内声学行为识别方法，以解决传统的深度学习网络在针对不平衡数据集进行声学行为分类时，存在对于小类别样本分类效果差的问题。

一种基于深度学习与强化学习的室内声学行为识别方法，包括如下步骤：

A.通过终端声音传感器实时获取室内原始声音数据，并将其转换成不包含隐私的特征数据。

进一步，

A1.将原始声音数据输入到经基于深度学习方法预训练的、不可逆式特征提取VGGish模型，以秒为单位，将原始声音数据转换为特征数据；

A2.丢弃原始声音数据，保存特征数据在本地。

B.将特征数据中包含的用户行为作为标签和特征数据，两者同时输入到深度强化学习网络中训练。

所述B步骤中用于训练深度强化学习网络Deep Q Learning包括：自定义环境Environment，以特征数据批次作为状态State、以预测结果作为行动Action。

进一步，

所述深度强化学习网络，基于CNN与RNN结合的方法，包括构建数据输入层、卷积层、Batch Normalization层、LSTM层、全连接层以及Attention Model层，

其中，

所述数据输入层，用于接收特征数据；