[发明专利]一种基于多模融合深度特征的移动设备源识别方法及系统

说明书

本发明属于语音取证技术领域，公开了一种基于多模融合深度特征的移动设备源识别方法及系统，首先提取测试数据MFCCs和GSV特征，将特征对应分割为多路，然后分别训练CNN并融合得到融合深度特征，随后使用训练好的深度残差网络进行判决，最后将各路短样本的判决结果采用投票法联合决策。本发明在训练GMM‑UBM模型时，根据语音数据音素和音调的特点对数据进行筛选，挑选出具有代表性的少量数据，即保证了模型的表征泛化性也降低了数据运算量，提高了建模了效率；本发明使用深度神经网络做有监督的训练提取深度特征，剔除特征数据中的冗余和干扰信息，精简了特征数据，提高了数据的表征性，也降低了数据的维度简化了计算量。

技术领域

本发明属于语音取证技术领域，尤其涉及一种基于多模融合深度特征的移动设备源识别方法及系统。

背景技术

目前，最接近的现有技术：

随着数字媒体技术的飞速发展，各类电子产品如计算机、数码相机、手机、打印机、扫描仪等也逐渐成为人们日常生活中不可或缺的设备，由此也产生了大量的媒体文件。与此同时，各种专业的数字媒体编辑软件在人们的诉求下也逐步走向便捷化。这些编辑软件在给人们的生活带来便捷与欢乐的同时，也引入了许多具有挑战性的问题。一些不法份子通过各种录音设备和编辑软件，偷录、伪造出大量的语音数据，由此引发的一系列问题严重影响了司法公正和社会秩序，对社会造成了非常恶劣的影响。因此对数字媒体文件做出完整性、真实性的判断显得尤为重要。

目前大多数技术先对语音信号进行预处理去噪、加窗、分帧、提取静音段，随后在静音段中提取出能够反映出设备信道指纹信息的特征，然后使用单一的特征数据构建各种机器学习模型或者深度神经网络，最后使用构建好的模型做出最终的决策。

随着深度学习一系列的算法被提出，深度学习也日益成为人们心目中做分类识别的利器，而且在数据处理能力和计算量上也大大优于传统方法。但是，深度神经网络的构建需要大量的数据，对一些实际问题有了很大的约束性。另外，单一的特征并不能完整的反应出设备的机器指纹信息，而且提取到的原始特征数据里会有大量的冗余信息和干扰信息，如果可以使用算法模型剔除冗余、干扰信息，将极大程度的精简特征数据。同时采用多步判决的方式将极大的提高判决精度，提高了算法的鲁棒性。

综上所述，现有技术存在的问题是：

(1)传统的移动设备源识别方法的特征的表征性进一步挖掘、提高效率差；而且传统的判决模型相对直观，无法通过特征信息对移动设备进行充分的表征建模；传统的测试判决方式是基于单一判决的，识别精度低。

(2)前大多数的方法直接将原始的特征数据用于构建算法模型，由于原始的特征数据存在大量的冗余和干扰信息，因此使得在构建算法模型时加大了计算量，也使得最终的算法模型不够精确。

(3)目前大多数的方法使用单一的特征数据对设备源特征进行建模。单一特征存在很大的局限性，因此模型的构建不够准确，多特征的融合将克服单一特征的局限性。

(4)目前大多数的方法使用单一的决策模型对设备源特征进行建模然后进行单一决策。单一决策存在很大的不稳定性，因此模型的构建不够准确，多步判决的方式极大的提高了算法的鲁棒性。

解决上述技术问题的难度：

如何在尽量少的损失有用信息的情况下剔除原始特征数据的冗余信息和干扰数据，实现特征数据的精简；使用哪几种特征数据进行融合可以提高特征的表征性；如何将多种特征数据进行融合使得最终的特征数据表征性增强；如何将多路判决的方式运用到决策上面；如何在尽量小的损失样本信息的前提下对不等长样本数据进行决策识别。

解决上述技术问题的意义：