[发明专利]一种多视角小白鼠动态三维重建方法

说明书

本发明涉及一种多视角小白鼠动态三维重建方法，其特征在于，所述方法包括以下步骤：步骤S101，多视角同步视频序列采集；步骤S102，二维小白鼠骨架节点数据集标注；步骤S103，二维小白鼠骨架节点检测神经网络训练；步骤S104，摄像头标定；步骤S105，三维小白鼠骨架节点估计；步骤S106，基于模板的线性混合蒙皮网格变形。本发明通过多视角三维视觉技术捕捉小白鼠三维动作，直观、全面地获取小白鼠的行为模式和体型变化，相较于以往基于二维图片的行为分析更具医学观察价值。

技术领域

本发明涉及了一种多视角小白鼠动态三维重建方法，属于计算机视觉中的三维重建和动作捕捉技术领域。

背景技术

计算机视觉领域，三维重建研究广泛地吸引着研究者的兴趣。从使用的相机数量上区分，三维重建可分为一下三类：单目三维重建，双目三维重建和多目三维重建。早期的单目三维重建中，具有代表性的有阴影恢复形状法，其受光照和模型形状影响较大，不能解决绝大多数问题。近期的单目三维重建围绕基于深度学习方法恢复三维结构。双目三维重建利用对极几何原理，通过计算视察获取深度。但是双目视觉视角受限，应用于深度获取的场景较多，如自动驾驶领域。多目三维重建通过多个视角获取物体二维图片，通过预标定或者自标定方法获取相机内外参数，再匹配特征点，恢复物体三维深度信息。多目重建发挥多个视角的优势可以精细化重建物体的三维模型，是各种三维重建方案中实际应用较多的一种。但是设备开销和计算开销较大，很难实现实时重建。

实验小白鼠是生物医学中用量最大、用途最广、品种品系最多的实验动物。小白鼠由于其基因和人类较为接近，并且培育简单，数量庞大，目前它已被用于包括癌症研究在内的整个生物医学领域。获取小白鼠的临床行为和体态变化信息，在医学多个领域具有重要意义，尤其在动物行为学分析领域有直接应用。目前，针对动物行为学分析与监控有多种商业解决方案中，但是均采用单目摄像头监控方式，缺失动物活动的三维特征信息。单目二维图像分析，受到动物活动的自遮挡影响严重，不能有效获取准确的动物活动的动作和体型，结果粗略，有一定的错误率，因此，迫切的需要一种新的方案解决上述技术问题。

发明内容

本发明正是针对现有技术中存在的问题，提供一种多视角小白鼠动态三维重建方法，该技术方案通过多视角系统和神经网络，动态恢复小白鼠的三维模型，以获取带有丰富三维信息的小白鼠行为模式和体型特征，更有利于临床观察和行为学研究。

为了实现上述目的，本发明的技术方案如下，一种多视角小白鼠动态三维重建方法，其特征在于，所述方法包括以下步骤：

步骤S101，多视角同步视频序列采集；

步骤S102，二维小白鼠骨架节点数据集标注；

步骤S103，二维小白鼠骨架节点检测神经网络训练；

步骤S104，摄像头标定；

步骤S105，三维小白鼠骨架节点估计；

步骤S106，基于模板的线性混合蒙皮网格变形。

作为本发明的一种改进，所述步骤S101，多视角同步视频序列采集，具体如下，多路广角3.5mm焦距摄像头通过usb连接到计算机，同步采集小白鼠活动二维图像数据，并存储成多视角视频序列。3.5mm广角镜头采集的画面角度更广，短焦距带来的长景深，保证了小鼠在视野范围内活动时不会产生因为摄像头虚焦导致的模糊，保证三维重建的精度。

作为本发明的一种改进，所述步骤S102，二维小白鼠骨架节点数据集标注，具体如下：对小白鼠活动二维图像数据进行节点标注，构建二维小白鼠骨架节点标注图数据库，小白鼠骨架节点数为33，抽象表达头、躯干、四肢和尾巴。这样既很好地描述了小鼠的骨骼结构，又不失灵活性，可以表征小鼠的各种活动和体态特征。