[发明专利]一种基于深度学习与强化学习的室内声学行为识别方法

权利要求书

1.一种基于深度学习与强化学习的室内声学行为识别方法，其特征在于，包括如下步骤：

A.通过终端声音传感器实时获取室内原始声音数据，并将其转换成不包含隐私的特征数据；

B.将以特征数据中包含的用户行为作为标签和特征数据，两者同时输入到深度强化学习网络中训练；

C.在训练过程中，每次提供一定批次的特征数据给深度强化学习网络，并由深度强化学习网络进行预测，根据其预测结果，动态决定下一批次所提供的各分类特征数据的比例及回报值R的值；

D.根据深度强化学习网络对上一批次的各个分类进行预测的错误率，决定是否停止训练。

2.如权利要求1所述的一种基于深度学习与强化学习的室内声学行为识别方法，其特征在于，所述A步骤还包括：

A1.将原始声音数据输入到经基于深度学习方法预训练的、不可逆式特征提取VGGish模型，以秒为单位，将原始声音数据转换为特征数据；

A2.丢弃原始声音数据，保存特征数据在本地。

3.如权利要求1所述的一种基于深度学习与强化学习的室内声学行为识别方法，其特征在于，所述B步骤中用于训练深度强化学习网络Deep Q Learning包括：自定义环境Environment，以特征数据批次作为状态State、以预测结果作为行动Action。

4.如权利要求3所述的一种基于深度学习与强化学习的室内声学行为识别方法，其特征在于，所述深度强化学习网络，基于CNN与RNN结合的方法，包括构建数据输入层、卷积层、Batch Normalization层、LSTM层、全连接层以及Attention Model层，

其中，

所述数据输入层，用于接收特征数据；

所述卷积层，用于提取特征数据的特征；

所述Batch Normalization层，用于对特征数据进行规范化处理；

所述LSTM层，用于提取出特征数据的时序关系；

所述全连接层，用于对特征数据进行线性变换；

所述Attention Model层，用于以多标签分类的形式计算预测类别和标签类别的误差。

5.如权利要求1所述的一种基于深度学习与强化学习的室内声学行为识别方法，其特征在于，所述C步骤还包括：

C1.在第一次将特征数据及其标签输入到深度强化学习网络中时，将各个分类的特征数据以相同的比例作为当前的输入批次；

C2.在使用特征数据对深度强化学习网络进行训练的过程中，根据深度强化学习网络对环境提供的上一批次的数据的预测的结果，计算出其对各个行为分类的预测的错误率，并将回报值R设置为其对各行为分类的预测错误率的平均值的负值。

6.如权利要求1所述的一种基于深度学习与强化学习的室内声学行为识别方法，其特征在于，所述D步骤还包括：

D1.如不停止训练，则决定下一批次提供的特征数据的分类的比例，该比例与深度强化学习网络对上一批次特征数据的各个分类的预测的错误率成正比；

D2.如深度强化学习网络对某分类的错误率比高对其他分类都高，则下一批次提供更多该类数据。