[发明专利]一种智能AR广告机

摘要

本发明公开一种智能AR广告机，包括屏幕、处理器、存储器、网络连接、摄像头等，摄像头通过接口连接至处理器，用户经过广告机摄像头时摄像头采集图像并传输至处理器，所述广告机接收摄像头采集的图像，进行人脸检测，进行人脸关键点检测与跟踪，识别人脸表情变化，并通过网络连接自动上传至云端，服务器调用微信API后返回微信公众号二维码链接，广告机根据返回的链接生成二维码在广告机屏幕上显示，当用户扫描二维码并关注或进入公众号时，微信公众号自动发送照片给用户。本发明实现了线下电子屏的实时AR人机互动，在节约成本的同时使互动的效果得到了有效的提升。

主权项

1.一种智能AR广告机，所述广告机包括显示屏幕、处理器、存储器、网络连接、摄像头、电源，摄像头通过接口连接至处理器，用户经过广告机摄像头时摄像头采集图像并传输至处理器，所述广告机执行以下操作：1）接收摄像头采集的图像，利用基于深度学习的人脸检测算法进行人脸检测，捕捉到人脸图像并返回人脸矩形框数据；2）对捕捉到的人脸进行人脸关键点检测与跟踪，捕捉人脸上的68个关键点；3）预先制作人脸3D模型，并根据以上检测到的关键点信息调整该人脸3D模型的姿态角度，其中用欧拉角表示人脸俯仰、偏转和翻转的角度，每隔5度记录幕布上人脸转动时追踪器返回的三个角度值，对利用该方式获得的三个角度值进行线性回归，得到俯仰、偏转和翻转三个角度值的回归模型，将追踪器返回的角度值输入回归模型，估算出人脸三维模型的转动角度，再根据该估算的角度将虚拟人脸模型转到对应的角度；4）制作一套包含若干组人脸表情与融合变形幅度的集合，每一组人脸表情与融合变形幅度包含若干个关键点，根据以上步骤中获得的关键点信息计算每一组表情与融合变形幅度中的人脸表情距离；5）根据人脸表情距离识别人脸表情变化，并根据识别到的特定人脸表情触发拍照；6）照片和标记信息通过网络连接自动上传至云端，服务器调用微信API后返回微信公众号二维码链接，广告机根据返回的链接生成二维码在广告机屏幕上显示，当用户扫描二维码并关注或进入公众号时，微信公众号自动发送照片给用户。