[发明专利]一种心电信号与音乐信号匹配方法、系统、装置和介质

说明书

本发明公开了一种心电信号与音乐信号匹配方法、系统、装置和介质，其方法包括：对心电信号样本和音乐信号样本分别进行预处理，获得心电信号样本数据和音乐信号样本数据；对所述心电信号样本数据和所述音乐信号样本数据分别进行特征向量提取，得到心电特征向量和音乐特征向量；根据所述心电情绪信息、所述音乐情绪信息、所述相似度对所述相似性预测模型进行优化训练获得目标相似性预测模型；获取待匹配心电信号和音乐信号，基于所述目标相似性预测模型获得相似度。本发明以两种信号中包含的情绪信息为纽带，解决了心电信号与音乐之间的语义差距造成的难以量化二者关系的问题。

技术领域

本发明涉及信号处理技术领域，尤其涉及一种心电信号与音乐信号匹配方法、系统、装置和介质。

背景技术

ECG（electrocardiogram，心电图）信号是记录周期性和有节律性心肌活动的生理电信号，音乐信号是人类产生的具有旋律性和声的创造性声音信号。心电与音乐两种类型的信号具有非常不同的语义。人体心电信号是非常微弱的生理低频电信号，通常最大的幅值不超过5mV，信号频率在0.05～100Hz之间，而音乐信号的频率一般在300～3400Hz之间。相比于音乐信号，心电信号更加微弱、低频、存在干扰噪声。当前，通过量化心电信号和音乐信号之间的关系存在广泛的应用，例如个性化音乐推荐、音乐创作和音乐数字疗法等应用场景，但是，目前很少有研究去探索心电信号与音乐之间的直接匹配任务。究其原因是，因为心电信号和音乐信号两者之间的语言差距问题，造成两者很难进行直接的量化和比较。为此，如何解决心电信号和音乐信号的比较和量化，从而在基于生理特征的应用场景下实现两者的匹配，已经成为本领域亟待解决的技术问题。

发明内容

为解决背景技术中存在的技术问题，本发明提出一种心电信号与音乐信号匹配方法、系统及装置，以两种信号中包含的情绪信息为纽带，解决了心电信号与音乐之间的语义差距造成的难以量化二者关系的问题。

本发明提出一种心电信号与音乐信号匹配方法，包括：

对心电信号样本和音乐信号样本分别进行预处理，获得心电信号样本数据和音乐信号样本数据；

对所述心电信号样本数据和所述音乐信号样本数据分别进行特征向量提取，得到心电特征向量和音乐特征向量；

根据心电信号情绪预测模型和音乐信号情绪预测模型，分别以所述心电特征向量和所述音乐特征向量作为输入，获得心电情绪信息和音乐情绪信息；

根据相似性预测模型，将所述心电特征向量与所述音乐特征向量进行串联作为输入，通过相似性检测得到两者相似度；

根据所述心电情绪信息、所述音乐情绪信息、所述相似度对所述相似性预测模型进行优化训练获得目标相似性预测模型；

获取待匹配的心电信号和音乐信号，基于所述目标相似性预测模型，获得所述心电信号和所述音乐信号匹配的相似度。

其中，对心电信号样本和音乐信号样本分别进行预处理，包括：

对所述心电信号样本进行高通滤波处理和z-score标准化处理；

对所述音乐信号样本进行音乐特征提取，所述音乐特征包括梅尔频率倒谱系数MFCC特征、响度特征、频谱特征。

其中，对所述心电信号样本数据和所述音乐信号样本数据分别进行特征向量提取，包括：

对所述心电信号样本数据中提取包含情绪信息的特征向量数据，通过池化操作获得心电特征向量；

对所述音乐信号样本数据中提取包含情绪信息的特征向量数据，通过池化操作获得音乐特征向量。

其中，所述心电情绪信息包括心电唤醒信息和心电价态信息，所述音乐情绪信息包括音乐唤醒信息和音乐价态信息。