[发明专利]用于确定目标对象的方法、装置、人机交互系统

说明书

本申请实施例公开了用于确定目标对象的方法、装置、人机交互系统。本申请一实施例的方法包括：响应于检测到物品的位置变化，基于检测到位置变化的检测时刻，确定待检测图像帧序列；对待检测帧序列中的待检测图像帧进行人体关键点检测；基于人体关键点检测的检测结果，确定出对物品执行目标操作行为的目标对象。该实现方式有利于确定出的目标对象的准确性。

相关申请的交叉引用

本申请要求申请日为2019年7月31日，申请号为16/528,134，发明名称为“MethodAnd Apparatus for Determining a Target Object，and Human-Computer InteractionSystem”的美国专利申请的优先权。

技术领域

本申请实施例涉及计算机领域，具体涉及图像识别领域，尤其涉及用于确定目标对象的方法、装置、人机交互系统。

背景技术

智慧零售店，是顾客在店内随意挑选商品，在购物结束时不用排队结账而自动把账单推送给顾客的一种新的零售体验。

为了自主地向顾客提供零售服务，需自动地判断哪位顾客购买了什么商品。也即，需识别出，哪个货架上什么商品被哪个顾客拿走。

发明内容

本申请实施例提出了用于确定目标对象的方法、装置、人机交互系统。

第一方面，本申请实施例提供了一种用于确定执行目标操作行为的目标对象的方法，包括：响应于检测到物品的位置变化，基于检测到位置变化的检测时刻，确定待检测图像帧序列；对待检测帧序列中的待检测图像帧进行人体关键点检测；基于人体关键点检测的检测结果，确定出对物品执行目标操作行为的目标对象。

在一些实施例中，响应于检测到物品的位置变化，基于检测到位置变化的检测时刻，确定待检测图像帧序列，包括：响应于检测到物品的位置变化，确定检测到位置变化的检测时刻；将图像采集时刻与检测时刻的时间差小于预设时长的图像帧按照采集时刻先后顺序排列形成待检测图像帧序列。

在一些实施例中，对待检测帧序列中的待检测图像帧进行人体关键点检测，包括：对待检测帧序列中，图像采集时刻与检测时刻最接近的目标图像帧进行人体关键点检测。

在一些实施例中，响应于检测到物品的位置变化，基于检测到位置变化的检测时刻，确定待检测图像帧序列，包括：响应于检测到物品的位置变化，基于物品的位置，确定采集待检测图像帧序列的目标图像采集装置；从目标图像采集装置采集的图像帧序列中，确定与检测时刻的时间差小于预设时长的采集时刻所采集的图像帧形成待检测图像帧序列。

在一些实施例中，基于人体关键点检测的检测结果，确定出对物品执行目标操作行为的目标对象，包括：基于目标图像帧的人体关键点检测的检测结果中各人体对象与物品之间的距离，确定目标对象。

在一些实施例中，目标图像帧中的人体对象与物品之间的距离通过如下的距离确定步骤确定：对于目标图像帧中的人体对象，检测目标图像帧中是否存在指示该人体对象的手部的手部关键点；若存在，则将该人体对象的手部关键点与物品之间的距离作为该人体对象与物品之间的距离。

在一些实施例中，距离确定步骤还包括：对于目标图像帧中的人体对象，若目标图像帧中不存在用于指示该人体对象的手部的关键点，按照关键点优先级顺序，选取存在于目标图像帧中的该人体对象的人体关键点中，优先级最高的关键点；将所选取的人体关键点与物品之间的距离作为该人体对象与物品之间的距离。

在一些实施例中，基于人体关键点检测的检测结果，确定出对物品执行目标操作行为的目标对象，包括：基于对各待检测图像帧的人体关键点检测的检测结果，生成待检测图像帧序列中，各人体对象的移动轨迹；确定出各移动轨迹中，与物品之间的距离最接近的轨迹点作为候选轨迹点；基于所确定出的候选轨迹点与物品之间距离，确定目标对象。