[发明专利]基于单视角RGBD传感器的虚拟试鞋方法

说明书

基于单视角RGBD传感器的虚拟试鞋方法，设置工作区域，将RGBD相机的视角覆盖工作区域；用户站在工作区域内，RGBD相机采集其数据，然后确定脚部的位置、方向和大小；将鞋的三维模型投影至当前相机视角下，并与实时场景的RGB数据进行融合。本发明可以实时地进行用户脚部与鞋类产品的三维模型的融合，并可以在任意视角下进行展示，完全模拟了用户面对试鞋镜真实试鞋的视觉效果体验。可以精准计算用户的脚部尺寸，消除了复杂的用户操作。

技术领域

本发明涉及计算机三维图形处理领域，具体地说是一种基于单视角RGBD传感器的虚拟试鞋方法。

背景技术

随着互联网技术的兴起，全球产业进入了互联网时代。在日常的生产生活中,网络购物日益成为一种主流的消费模式。对于网络购买鞋类产品时，选择理想样式，和合适的尺码成为了用户的一大困扰。究其原因，单一利用卖家拍摄的单一平面鞋类展示效果作为选择样式的依据，与用户实际的心理预期有一定的差距。另外，中国鞋类厂商的鞋码标准使用不广泛，常用欧码或美码代替；而不同厂商、不同鞋类产品之间鞋码，造成码数不准、尺码混乱的问题很难解决。这两个原因导致了商家面临退货率飙升的问题，同时浪费了物流业的社会效率。

随着三维重建、VR/AR和AI等技术以及计算机CPU/GPU处理器性能的爆发式发展，虚拟试鞋业务随之兴起。利用计算机视觉、计算机图形学和计算成像等领域的相关技术，厂商可以预先对鞋类产品进行三维建模，在用户挑选鞋类产品时可以实时的进行预览对应产品的三维影像，或者利用AR/VR穿戴式设备，将鞋类产品模型与用户场景进行融合，使得用户在挑选过程中能够实时模拟自身穿着该产品的实际视觉效果。

当前虚拟试鞋技术大致分为三类：

1.直接在互联网页面上展示由三维重建技术获得的鞋类产品的三维模型的立体效果，用户可以通过操作完成不同视角的预览鞋类产品。这类技术大大提升了以往只能靠卖家拍摄的单一平面鞋类展示效果。但是，这种技术对于用户而言，仍然无法得知该类产品的穿着效果以及鞋码的选择。

2.利用VR/AR穿戴式设备，将三维重建技术获得的鞋类产品的三维模型投射到现实场景，利用计算机视觉等相关技术，对人体和鞋进行融合，继而获得用户穿戴该类产品的视觉效果。但是，一方面受到用户视角和AR/VR视场角等相关方面的原因，很难有理想的效果；另一方面，对于用户而言，购置VR/AR设备以及配套的计算单元，成本相当高。

3.利用三维重建技术的脚部建模设备进行虚拟试鞋。用户只需要站立在设备的相关区域，设备经过一段时间利用机器视觉和三维重建技术对人体脚部进行测量和计算，最终完成脚部的三维建模，然后与鞋类产品的三维模型进行适配。这种方案对于鞋码检测较为精准，但是一方面由于设备规格的限制，用户无法进行多角度的移动旋转脚部进行全方位视觉体验；另一方面由于造价较高，对于用户而言成本较高。另外，即使由商家购置相关设备用于线下虚拟试鞋体验，由于设备需要精准对脚部进行三维建模，需要用户进行脱鞋站立，同时脚部建模过程持续一段时间，存在一定的不方便。

CN201610008004.3号中国专利申请公开了三维虚拟试鞋方法和系统，将使用者的脚部模型和鞋模型结合起来，实现了虚拟鞋子与真实顾客脚形的融合，通过试穿效果的动态展示，顾客可在最短时间内快速浏览不同鞋子款式的试穿效果，还可以观看不同饰品、背景下的试穿效果，可以避免物流资源的浪费以及退换货带来的时间浪费，提高网络购鞋的用户体验。该方案利用采集设备进行完整的人员脚部模型重建，然后去做与鞋模型的贴合，增加了计算过程，较为复杂。

CN201710336343.9号中国专利申请公开了本发明公开了一种试鞋系统，包括用于获取三维脚部数据并存储至脚型数据库的足部三维扫描装置、用于调取三维脚部数据与鞋型数据库中的三维鞋型数据且进行比对并推送适合鞋子的控制终端以及将购买者引导至实体店的移动终端，能够先进行虚拟试鞋，购买者通过虚拟试鞋挑选好自己所需要的鞋子之后，在通过移动终端引导购买者去实体店进行实体试鞋。该方案同样要对对脚部进行重建。