[发明专利]一种多视觉模态数据采集系统及采集方法

说明书

技术领域

本申请涉及一种多种成像模式的视频/图像采集系统。尤其涉及一种多视觉模态的视频或图像采集系统及采集方法。

背景技术

数据量、运算力和算法模型是影响计算机视觉行业发展的三大要素。2000年之后，数据量的上涨，运算力的提升和深度学习算法的出现极大促进了计算机视觉行业的发展。数据量和算法可以分别作为人工智能的燃料和发动机，算法是计算机基于所训练的数据集归纳出的识别逻辑，好的算法模型可以实现精准的物体和场景识别。而数据集的丰富性和大规模性对算法的训练尤为重要，因此可以说，对于计算机视觉或人工智能类的相关算法来说，最重要的莫过于足量而优质的数据集。实现机器精准视觉识别的第一步，就是获取充足而优质的应用场景数据。优质的数据集为计算机视觉算法模型提供源源不断的素材，助力机器视觉的精准度的提升。

现有的数据集采集与传输模块功能单一，扩展性差，大多集中于单一模态数据采集。而多视觉模态数据集中的模态包括：可见光(RGB)图像、热红外(Thermal Infrared)图像或深度(Depth)图像等。构建多视觉模态数据集，首先要保证同一场景在不同模态下得到的图像具有一致性，包括图像尺寸的一致性、视角的一致性、图像中物体位置与尺寸的一致性以及图像中物体数目的一致性等等。另外，为了克服场景中外力变化，如刮风等对物体外形的影响，更好地保证数据集的质量，往往还要保证成像时间具有同时性。因此，一般来说，多视觉模态数据集的构建十分耗费人力物力，现有的数据采集模块无法保证成像效果，难以得到高质量的数据集。

传统的多视觉模态数据采集一般都要手动进行图像的配准操作，有时甚至需要逐帧配准，目的在于让不同模态的图像尽可能重合，即让不同模态图像的坐标系可以相互转换。在参考文献[1](C.Li,H.Cheng,S.Hu,X.Liu,J.Tang,and L.Lin.2016.Learning Collaborative Sparse Representation for Grayscale-thermal Tracking.IEEE Transactions on Image Processing 25,12(2016),5743–5756.李成龙,成慧,胡师艺,刘小白,汤进.2016.用于灰度—热红外跟踪的协同稀疏表示的学习.电气和电子工程师协会图像处理会刊25,12(2016),5743–5756.)和[2](J.W.Davis and V.Sharma.2007.Background-subtraction using contour-based fusion of thermal and visible imagery.Computer Vision and Image Understanding 106,2(2007),162–182.杰姆斯·戴维斯,威奈·夏尔马.2007.基于轮廓的热红外和可见光图像融合的背景差分.计算机视觉和图像理解106,2(2007),162–182.)中，RGB-T(可见光-热红外)数据集是通过同时架设RGB可见光模态相机与热红外模态相机进行拍摄的，一般难以保证两台相机的光轴平行。为了拍摄更加一致性的图像序列，两台相机要尽量靠拢，同时还要尽量保证架设的角度更加一致。但是这样会限制了拍摄场景的类型，同时还更容易引入非对齐带来的错误。在参考文献[3](S.Hwang,J.Park,and N.et al.Kim.2015.Multispectral Pedestrian Detection:Benchmark Dataset and Baseline.In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.黄苏明,杰斯塔·帕克,南米尔·金.2015.多光谱行人检测：标准数据集和基本方法.电气和电子工程师协会计算机视觉和模式识别会议)中，需要手动校准来对齐两台相机，而手动校准易引起错误,在数据集拍摄完成后，往往还需要进行图像配准操作，但是在一致性较差的两种模态图像上进行配准同样不能解决图像的非一致性问题。在参考文献[4](A.Torabi,G.Masse,and G.-A.Bilodeau.2012.An iterative integrated framework for thermal-visible image registration,sensor fusion,and people tracking for video surveillance applications.Computer Vision and Image Understanding 116,2(2012),210–221.阿图萨·托拉比,马斯·纪尧姆,比洛奇·纪尧姆-亚历山大.用于视频监控应用的热红外—可见光图像配准、传感器融合和人的跟踪的一种迭代集成框架.计算机视觉和图像理解116,2(2012),210–221.)和[5](G.-A.Bilodeau,A.Torabi,and P.-L.St-Charles et al.2014.Thermal-visible registration of human silhouettes:A similarity measure performance evaluation.Infrared Physics&Technology 64(2014),79–86.比洛奇·纪尧姆-亚历山大,阿图萨·托拉比,彼埃尔·查尔斯.人体轮廓的热红外-可见光配准：一种相似性度量的性能评估.红外物理与技术64(2014),79–86.)中也引入了两个RGB-T的数据集，但是仍然无法保证不同模态的图像的一致性，图像序列数又有所限制，数据多样性不足，同时又有较高的偏差。