[发明专利]用于智能冰箱的终端数据采集装置及系统

权利要求书

1.一种用于智能冰箱的终端数据采集装置，用于对智能冰箱进行控制，所述智能冰箱设置有能够开合的冰箱门，所述冰箱门上至少设置一用于对冰箱内商品进行商品图像采集的摄像头，其特征在于，包括如下模块：

图像采集模块，用于当所述冰箱门开至一预设的角度阈值时，控制所述摄像头采集所述冰箱内商品的对应商品图像；

图像识别模块，用于根据预设的商品识别模型将所述商品图像中的每一商品区域识别出预设置的商品编号并进而根据预设置的商品排列顺序汇总所述商品编号生成识别数据；

数据通信模块，用于将所述识别数据发送至后台服务器。

2.根据权利要求1所述的用于智能冰箱的终端数据采集装置，其特征在于，当所述商品识别模型对每一商品识别时包括如下步骤：

步骤S1：通过预设置的角端识别模型对所述商品图像中智能冰箱的至少两个层列的层列架角端进行识别，至少识别出四个位于所述商品图像的两侧端部的层列架角端区域；

步骤S2：根据至少四个所述层列架角端区域与预设置的参考商品图像中的参考层列架角端区域之间的位置关系生成单应性矩阵；

步骤S3：根据所述单应性矩阵对所述商品图像进行矫正生成矫正后商品图像；

步骤S4：通过预设置的所述商品识别模型对所述矫正后商品图像进行识别，以识别出所述商品图像中的每一商品区域对应的预设置的商品编号。

3.根据权利要求2所述的用于智能冰箱的终端数据采集装置，其特征在于，所述步骤S1包括如下步骤：

步骤S101：获取多张用于角端识别的训练图像，对每一所述用于角端识别的训练图像进行角端区域的标注；

步骤S102：利用标注出角端区域的训练图像建立所述角端识别模型；

步骤S103：将所述商品图像输入所述角端识别模型进行角端区域识别。

4.根据权利要求2所述的用于智能冰箱的终端数据采集装置，其特征在于，所述步骤S2包括如下步骤：

步骤S201：建立二维坐标系，确定所述参考商品图像中的至少四个参考层列架角端区域的坐标；

步骤S202：在所述二维坐标系中，确定所述四个所述层列架角端区域的坐标；

步骤S203：根据四个所述层列架角端区域与分别对应的参考层列架角端区域之间的位置关系生成所述单应性矩阵。

5.根据权利要求2所述的用于智能冰箱的终端数据采集装置，其特征在于，所述步骤S4包括如下步骤：

步骤S401：获取多张用于商品区域识别的训练图像，对每一所述用于商品区域识别的训练图像进行商品区域的标注；

步骤S402：利用标注出商品区域的训练图像建立所述商品区域识别模型；

步骤S403：将所述商品图像输入所述商品区域识别模型进行商品区域识别。

6.根据权利要求1所述的用于智能冰箱的终端数据采集装置，其特征在于，还包括客户端模块；

所述客户端模块包括商品图像数据库、后台服务器以及排面展示模块；

所述商品图像数据库，用于存储每一所述商品编号对应的商品预设图像；

所述后台服务器，用于收到所述识别数据后，据所述识别数据中的商品编号在所述商品图片数据库调取该商品编号对应的商品预设图像，进而根据所述商品排列顺序将调取出的所述商品预设图像进行排列还原出所述冰箱的排面；

所述排面展示模块，用于对还原出所述冰箱的排面进行展示。