[发明专利]一种激光笔交互方法

权利要求书

1.一种激光笔交互方法，其特征在于，激光笔交互方法所用的激光笔交互系统包括计算机、投影仪系统、摄像头和激光笔，计算机通过VGA与投影仪连接将计算机内容投影到投影屏幕，摄像头通过USB将捕捉投影仪图像传给计算机；

该激光笔交互方法包括自适应背景切换的激光点检测方法、非线性坐标映射方法和分区域的激光点行为分析方法完成激光笔交互功能；

所述的自适应背景切换的激光点检测方法，通过在线背景字典创建与更新方法以及稀疏重构方法实时鲁棒的检测出运动激光点，步骤如下：

令摄像头采集的图像为Y，将其每一列连接在一起组成列向量y；其中，不包含激光点的图像称为背景图像，仅包含激光点的图像称为前景图像，y由背景图像和前景图像线性表示：

y＝y_B+y_F(1)

其中y∈R^n×1、y_B∈R^n×1和y_F∈R^n×1分别为采集图像列向量、背景图像列向量和前景图像列向量，n是图像的像素点数，R^n×1表示n维的实数列向量；

通过训练和更新得到背景图像y_B，利用摄像头采集图像y，通过式(1)得到前景图像y_F，即得激光点位置；在激光笔交互过程中幻灯片换页或幻灯片动画使得背景突变，应对背景突变，将不断变化的背景组成背景字典D∈R^n×K，其中D的每一列表示一种背景，K是调节字典包含背景数量的参数，某时刻的背景图像通过背景字典D稀疏表示：

y_B＝Dx (2)

其中x＝[0,...,0,x_i,0,...0]∈R^K×1为稀疏向量，在理想情况下仅有一项非零值；为了增加背景字典D对噪声的鲁棒性，利用累积平均方法对背景字典D按列创建：

其中D_i为字典D的每一列，K为字典的列数，即背景的个数，α为背景更新速率；

在检测激光点前景图像时，首先求解x以决定当前的背景图像，然后通过式(2)解出y_B，最后通过式(1)求出激光点前景y_F；前景激光点相对于背景图像是非常稀疏的向量，仅在激光点位置处非零，y_F是稀疏向量，背景的稀疏向量x也是稀疏的，根据压缩感知中稀疏重构方法得出x：

$x=\arg \underset{x}{min}\left|\right|y-Dx|{|}_0+\mathrm{\λ}|\left|x\right|{|}_0---\left(4\right)$

其中λ为调谐因子，||·||₀代表l₀范数，求解l₀范数为非凸问题，激光点是非常稀疏的，式(4)利用下式近似得到：

$x=\arg \underset{x}{min}\left|\right|y-Dx|{|}_2+\mathrm{\λ}|\left|x\right|{|}_1---\left(5\right)$

其中||·||₁，||·||₂分别为l₁和l₂范数；由式(5)、式(2)和式(1)解出激光点前景y_F；

在交互过程中，幻灯片换页或放映动画出现新的背景，导致解出的激光点前景y_F不是稀疏解，反之则解出的y_F为稀疏解；通过观测y_F的稀疏性控制字典的更新，当y_F非稀疏解时说明出现了新的背景，将新的背景立即加入到背景字典中，当y_F是稀疏解时通过累积平均的方式更新字典来抑制噪声，公式如下：

其中k＝mod(i,K)+1，mod为取模操作，Th为控制前景激光点稀疏性的参数，y_i为采集到的第i帧图像；

将解出的y_F转换成二维图像Y_F，激光点并不是单一像素点，采用坐标平均的方式得到激光点的坐标(u,v)：

$\left\{\begin{array}{c}u=\frac{1}{N}{\Σ}_{i=1}^N{Y}_{Fxi}\\ v=\frac{1}{N}{\Σ}_{i=1}^N{Y}_{Fyi}\end{array}\right.---\left(7\right)$

其中N为Y_F中非零值的个数，Y_Fxi和Y_Fyi分别为前景激光点二维图像非零值的横纵坐标；

所述的非线性坐标映射方法，通过神经网络学习模型训练出摄像头采集图像坐标与计算机坐标的映射关系，步骤如下：

得到摄像头采集到图像中激光点的坐标(u,v)后，将该坐标映射到计算机中的坐标完成交互；该系统摄像头摆放位置非固定，投影过程或者摄像头采集图像有可能存在非线性畸变，需要非线性的模型完成坐标映射模块；通过神经网络学习一个模型完成非线性映射，首先要对系统输入进行归一化，假定输入为(u,v)，采集图像y的分辨率为pic_width×pic_height，归一化方程为：

$\left\{\begin{array}{c}{u}^{\′}=\frac{u}{{\mathrm{pic}}_{width}}\\ v^{\′}=\frac{v}{{\mathrm{pic}}_{height}}\end{array}\right.---\left(8\right)$

令系统输入S_in＝(u′,v′)^T，系统输出为归一化计算机坐标S_out＝(X′,Y′)^T，计算机分辨率为pc_width×pc_height，则计算机坐标计算公式为：

$\left\{\begin{array}{c}X=X^{\′}\×{\mathrm{pc}}_{width}\\ Y=Y^{\′}\×{\mathrm{pc}}_{height}\end{array}\right.---\left(9\right)$

系统输入为摄像头采集图像归一化坐标S_in＝(u′,v′)^T，系统输出为计算机图像归一化坐标S_out＝(X′,Y′)^T，其映射关系由下式确定：

$S_{out}=\mathrm{\σ}\{\underset{j=1}{\overset{M}{\Σ}}{\mathrm{\ω}}_{kj}^{\left(2\right)}\[\mathrm{\σ}(\underset{i=1}{\overset{2}{\Σ}}{\mathrm{\ω}}_{ji}^{\left(1\right)}{S}_{in}+{\mathrm{\ω}}_{j0}^{\left(1\right)})\]+{\mathrm{\ω}}_{k0}^{\left(2\right)}\}---\left(10\right)$

其中ω⁽¹⁾为输入层与隐藏层之间的系数矩阵，ω⁽²⁾为隐藏层与输出层之间的系数矩阵，M为除去偏置后的隐藏层神经元个数，σ(·)表示sigmoid函数，函数表达式为：

$\mathrm{\σ}\left(z\right)=\frac{1}{1+e^{-z}}---\left(11\right)$

由ω⁽¹⁾和ω⁽²⁾便得到采集图像激光点坐标(u,v)与计算机坐标(X,Y)的唯一对应关系，求解ω⁽¹⁾和ω⁽²⁾涉及神经网络的训练过程，训练过程利用BP神经网络误差反向传播，训练数据通过预先投影棋盘图像，然后利用harris角点检测得到对应的数据；假设采集的角点数为N，检测出的输入角点归一化后数据和输出角点归一化数据防止过拟合的正则化神经网络的代价函数为：

$\left\{{\mathrm{\ω}}^{\left(1\right)},{\mathrm{\ω}}^{\left(2\right)}\right\}=\arg \underset{{\mathrm{\ω}}^{\left(1\right)},{\mathrm{\ω}}^{\left(2\right)}}{min}\frac{1}{2N}{\mathrm{\Σ}}_{i=1}^N\left|\right|S_{out}^i-S_{std}^i|{|}_2^2+\frac{\mathrm{\λ}}{2N}|\left|{\mathrm{\ω}}^{\left(1\right)}\right|{|}_2^2+\frac{\mathrm{\λ}}{2N}\left|\right|{\mathrm{\ω}}^{\left(2\right)}|{|}_2^2---\left(12\right)$

其中

所述的分区域的激光点行为分析方法，将投影屏幕划分成绘图交互区域和控制交互区域，解决了交互命令易误判的问题，步骤如下：

在多媒体激光笔交互中涉及到的功能包括“下一页”、“上一页”，“第一页”、“绘图标注”和“清除绘图”；采用对绘图轨迹识别完成相应功能，“绘图标注”功能旨在允许用户绘制任意图形达到强调功能，用户在使用“绘图标注”功能时系统容易误判成其他控制交互功能，为了增加交互行为的鲁棒性，采用分区域的激光点行为分析实时完成上述交互功能：

1)划分交互区域：在幻灯片的制作过程中，演讲者将需要演示的内容置于屏幕显要的位置，在屏幕的四个角落很少放置演示内容，“绘图标注”功能旨在标注演示内容，在屏幕的四个角落“绘图标注”功能很少用到，用户划分屏幕主显示区域为绘图交互区域，重点完成“绘图标注”功能，把屏幕某个角落或某些角落划分成控制交互区域完成其他交互功能；以屏幕右上角划分为控制交互区域为例，控制交互区域坐标(X,Y)限制为：

$\left\{\begin{array}{c}{\mathrm{pc}}_{width}-{\mathrm{Th}}_{wid}\<X\<{\mathrm{pc}}_{width}\\ 0\<Y\<{\mathrm{Th}}_{hei}\end{array}\right.---\left(14\right)$

其中Th_wid×Th_hei为交互区域的大小，由用户控制；

2)“绘图标注”实现：对激光点行为分析，若激光点落在绘图交互区域，并且连续在某一邻域出现一段时间则启动“绘图标注”功能；若连续一段时间检测不到激光点则关闭“绘图标注”功能；为了增强系统的鲁棒性，采用投票的原则判断激光点在某一邻域的停留时间，假设采集N帧图像，若满足下式则启动“绘图标注”功能：

其中Th×Th为邻域大小，count_e为N帧图像内检测到激光点的个数，(X_i,Y_i)为检测到激光点映射后的坐标；当count_o>N×50％时关闭“绘图标注”功能，其中count_o为连续时间内未检测到激光点的个数；

3)控制交互区域内的交互功能：若激光点落在控制交互区域内，则根据激光点的不同行为完成交互任务；将激光点在交互区域内的绘图轨迹，映射成相应的交互命令；以一种交互识别方法为例，若是向右划线则为“下一页”功能，向左划线为“上一页”功能，向上划线为“第一页”功能，向下划线为“清除绘图”功能；其条件约束分别为：

“下一页”：

“上一页”：

“第一页”：

“清除绘图”：

其中(X₁,Y₁)为绘图轨迹初始点，Th_i为允许划线的浮动控制量，Th_o为完成交互所需划线的长度；

通过将屏幕划分为绘图交互区域和控制交互区域的方法，解决了交互过程中交互命令易误判，实时完成丰富的交互命令。

2.根据权利要求1所述的激光笔交互方法，其特征在于，针对公式(12)防止过拟合的正则化神经网络的代价函数进行提升批量处理优化问题的速度，利用增量梯度的方法：

$\{{\mathrm{\ω}}^{\left(1\right)},{\mathrm{\ω}}^{\left(2\right)}\}=\arg \underset{{\mathrm{\ω}}^{\left(1\right)},{\mathrm{\ω}}^{\left(2\right)}}{min}\frac{1}{2}\left|\right|S_{out}^i-S_{std}^i|{|}_2^2+\frac{\mathrm{\λ}}{2}|\left|{\mathrm{\ω}}^{\left(1\right)}\right|{|}_2^2+\frac{\mathrm{\λ}}{2}\left|\right|{\mathrm{\ω}}^{\left(2\right)}|{|}_2^2---\left(13\right)$

其中i＝1～N循环选取直到算法收敛。