[发明专利]注视点预测方法及装置

说明书

本发明实施例提供一种注视点预测方法及装置，包括：获取三维场景的三维空间信息、以及所述三维场景中移动对象的至少两个标注点的三维位置信息，所述标注点为所述移动对象的肢体上的预设点；根据所述至少两个标注点的三维位置信息，确定所述移动对象的三维视线向量，所述三维视线向量用于指示所述移动对象在三维场景中的视线的方向；根据所述三维视线向量和所述三维空间信息，确定所述移动对象的注视点。用于在三维场景中预测移动对象的注视点，进而提高机器人的可靠性。

技术领域

本发明实施例涉及机器视觉领域，尤其涉及一种注视点预测方法及装置。

背景技术

目前，机器人可以协助用户的工作。在机器人协助用户工作的过程中，机器人可以根据用户的活动，确定用户的注视点，从而根据用户的注视点，协助用户工作。

机器人协助用户工作的过程中，需要用户面对机器人，使得机器人可以获取用户的眼部几何特征(例如，眼部轮廓、眼角开合度、瞳孔方向等)，并根据获取到的眼部几何特征预测用户的注视点。然而，在实际应用中，用户的一些活动通过需要背对机器人进行，在用户背对机器人时，机器人无法获取到用户的眼部几何特征，从而导致机器人无法确定用户的注视点，进而导致机器人协助用户工作失败，降低了机器人的可靠性。

发明内容

本发明实施例提供一种注视点预测方法及装置，用于在三维场景中预测移动对象的注视点，提高机器人的可靠性，进而提高机器人协助用户工作的鲁棒性。

第一方面，本发明实施例提供一种注视点预测方法，包括：

获取三维场景的三维空间信息、以及所述三维场景中移动对象的至少两个标注点的三维位置信息，所述标注点为所述移动对象的肢体上的预设点；

根据所述至少两个标注点的三维位置信息，确定所述移动对象的三维视线向量，所述三维视线向量用于指示所述移动对象在所述三维场景中的视线的方向；

根据所述三维视线向量和所述三维空间信息，确定所述移动对象的注视点。

在一种可能的实施方式中，所述根据所述至少两个标注点的三维位置信息，确定所述移动对象的三维视线向量，包括：

获取每个标注点所在的肢体类型；

根据所述至少两个标注点的三维位置信息和每个标注点所在的肢体类型，确定所述移动对象的三维视线向量。

在另一种可能的实施方式中，所述根据所述至少两个标注点的三维位置信息和每个标注点所在的肢体类型，确定所述移动对象的三维视线向量，包括：

获取预设模型，所述预设模型为根据多组样本数据训练得到的，每组样本数据包括至少两个样本三维位置信息、每个样本三维位置信息对应的样本肢体类型和样本三维视线向量；

所述预设模型根据所述至少两个标注点所在的肢体类型对所述至少两个标注点的三维位置信息，进行处理，得到所述移动对象的三维视线向量。

在另一种可能的实施方式中，所述根据所述三维视线向量和所述三维空间信息，确定所述移动对象的注视点，包括：

根据所述三维空间信息，获取所述三维场景中每个环境对象的三维坐标；

根据所述三维视线向量和所述每个环境对象的三维坐标，确定所述移动对象的注视点，所述注视点为所述视线向量经过的第一环境对象的三维坐标，所述视线方向的起始位置为所述移动对象的头部标注点。

在另一种可能的实施方式中，所述至少两个标注点的三维位置信息为所述至少两个标注点的三维坐标。

第二方面，本发明实施例提供一种注视点预测装置，包括第一获取模块、第一确定模块和第二确定模块，其中，