[发明专利]一种无人店中顾客异常行为的处理方法及系统

权利要求书

1.一种无人店中顾客异常行为的处理方法，其特征在于，所述方法包括：

获取顾客在无人店中的视频信息；

根据所述视频信息，判断顾客行为是否属于异常行为；

当所述顾客行为属于异常行为，对所述异常行为进行处理；所述异常行为为偷盗商品行为时，所述判断顾客行为是否属于异常行为，包括：

结合VGG-CNN特征及VLAD送入分类器进行顾客购物行为识别，并与该顾客进行购物行为绑定；

对于发生购物行为的顾客，通过分析三维世界坐标系中手与货架的交互信息，进行目标区域商品品类锁定确认；货架上的力学传感器的变化同时进行目标商品品类锁定；当货架上的受力变化大于手与货架的交互行为时，上传该段视频片段；

对上传的视频片段，运用Faster-RCNN检测框架，进行商品检测，如果检测出的商品品类及数量小于货架受力变化换算得到的商品数量时，将行为视为偷盗商品异常行为。

2.按照权利要求1所述的无人店中顾客异常行为的处理方法，其特征在于，所述获取顾客在无人店中的视频信息，包括：

通过在无人店内部署的摄像装置采集视频画面，对所要识别的目标进行检测；

对所述检测到的目标进行实时运动跟踪，形成视频信息。

3.按照权利要求2所述的无人店中顾客异常行为的处理方法，其特征在于，所述通过在无人店内部署的摄像装置采集视频画面，对所要识别的目标进行检测，包括：

通过分块更新双重背景的背景差分进行目标检测，即将目标区域分为两块：店内活动区域和店外出入口活动区域；对于店外出入口活动区域，通过统计模型，建立短期背景进行差分，提取出前景区域；对于店内活动区域，通过统计模型，建立长期背景和短期背景进行差分，将店内中短期静止目标检测出来。

4.按照权利要求2所述的无人店中顾客异常行为的处理方法，其特征在于，所述判断顾客行为是否属于异常行为，包括：

通过提取所述目标区域及视频数据，采用四阶CNN网络，评估各种前置网络的人体姿态检测效果，选择最优网络进行行人姿态提取，提取人体关节点的位置坐标；

计算视频数据中相邻两帧同一目标人体关节点距离矢量变化矩阵，通过分类器进行异常行为的识别。

5.按照权利要求1所述的无人店中顾客异常行为的处理方法，其特征在于，所述对所述异常行为进行处理，包括：

判断所述异常行为的种类；

根据所述异常行为的种类，对异常行为进行处理。

6.按照权利要求1所述的无人店中顾客异常行为的处理方法，其特征在于，所述对异常行为进行处理，包括下述行为中的一种或者组合：

将采集的异常行为视频信息推送至无人店中的显示装置进行播放；

将采集的异常行为视频信息生成报警日志，并存储；

控制无人店内设备的启闭；所述设备包括报警装置、语音装置和灯光中的一种或组合；

发送未支付指令至订单系统，生成待支付订单，并通知顾客通过支付链接进行支付；

发送未支付指令至订单系统，生成待支付订单，触发短信接口进行推送，并展示在APP订单列表中。