[发明专利]用于确定目标对象的方法、装置、人机交互系统

权利要求书

1.一种用于确定执行目标操作行为的目标对象的方法，包括：

响应于检测到物品的位置变化，基于检测到所述位置变化的检测时刻，确定待检测图像帧序列；

对所述待检测帧序列中的待检测图像帧进行人体关键点检测；

基于所述人体关键点检测的检测结果，确定出对所述物品执行目标操作行为的目标对象。

2.根据权利要求1所述的方法，其中，所述所述响应于检测到物品的位置变化，基于检测到所述位置变化的检测时刻，确定待检测图像帧序列，包括：

响应于检测到物品的位置变化，确定检测到所述位置变化的检测时刻；

将图像采集时刻与所述检测时刻的时间差小于预设时长的图像帧按照采集时刻先后顺序排列形成所述待检测图像帧序列。

3.根据权利要求1所述的方法，其中，所述对所述待检测帧序列中的待检测图像帧进行人体关键点检测，包括：

对所述待检测帧序列中，图像采集时刻与所述检测时刻最接近的目标图像帧进行人体关键点检测。

4.根据权利要求1所述的方法，其中，所述响应于检测到物品的位置变化，基于检测到所述位置变化的检测时刻，确定待检测图像帧序列，包括：

响应于检测到物品的位置变化，基于所述物品的位置，确定采集所述待检测图像帧序列的目标图像采集装置；

从所述目标图像采集装置采集的图像帧序列中，确定与所述检测时刻的时间差小于预设时长的采集时刻所采集的图像帧形成所述待检测图像帧序列。

5.根据权利要求3所述的方法，其中，所述基于所述人体关键点检测的检测结果，确定出对所述物品执行目标操作行为的目标对象，包括：

基于所述目标图像帧的人体关键点检测的检测结果中各人体对象与所述物品之间的距离，确定所述目标对象。

6.根据权利要求5所述的方法，其中，所述目标图像帧中的人体对象与所述物品之间的距离通过如下的距离确定步骤确定：

对于所述目标图像帧中的人体对象，检测所述目标图像帧中是否存在指示该人体对象的手部的手部关键点；

若存在，则将该人体对象的手部关键点与所述物品之间的距离作为该人体对象与所述物品之间的距离。

7.根据权利要求6所述的方法，其中，所述距离确定步骤还包括：

对于所述目标图像帧中的人体对象，若所述目标图像帧中不存在用于指示该人体对象的手部的关键点，按照关键点优先级顺序，选取存在于所述目标图像帧中的该人体对象的人体关键点中，优先级最高的关键点；

将所选取的人体关键点与所述物品之间的距离作为该人体对象与所述物品之间的距离。

8.根据权利要求1所述的方法，其中，所述基于所述人体关键点检测的检测结果，确定出对所述物品执行目标操作行为的目标对象，包括：

基于对各所述待检测图像帧的人体关键点检测的检测结果，生成待检测图像帧序列中，各人体对象的移动轨迹；

确定出各移动轨迹中，与所述物品之间的距离最接近的轨迹点作为候选轨迹点；

根据所确定出的候选轨迹点与所述物品之间距离，确定所述目标对象。

9.根据权利要求8所述的方法，其中，对于待检测图像帧中的人体对象，若对该人体对象的人体关键点检测的检测结果指示在该待检测图像帧中存在该人体对象的手部关键点，则将该手部关键点作为该人体对象的轨迹上的轨迹点。

10.根据权利要求9所述的方法，其中，对于待检测图像帧中的人体对象，若对该人体对象的人体关键点检测的检测结果指示在该待检测图像帧中不存在该人体对象的手部关键点，则按照关键点优先级顺序，选取存在于该待检测图像帧中的该人体对象的人体关键点中，优先级最高的关键点作为该人体对象的轨迹上的轨迹点。

11.根据权利要求1所述的方法，所述人体关键点检测的检测结果中，各人体关键点的位置为在预设三维坐标系下的位置。