[发明专利]一种面向机器人的行人定位方法、装置、电子设备及介质

说明书

本申请公开了一种面向机器人的行人定位方法、装置、电子设备及介质，该方法包括：获取当前时刻单目彩色相机的彩色图像一帧和二维激光雷达数据一帧，所述彩色图像和激光雷达数据应做好时间同步；在所述彩色图像上进行行人检测和人脸检测，得到行人检测矩形框和人脸检测矩形框；根据所述人脸检测矩形框，计算在所述单目彩色相机坐标系下的人脸中心所在的射线方程；根据所述的人脸中心所在的射线方程，结合所述行人检测矩形框、所述激光雷达数据以及所述单目彩色相机和二维激光雷达的内外参，计算得到人脸中心在所述激光雷达坐标系下的三维坐标。以解决相关技术中存在的定位计算量大、精度低的问题。

技术领域

本申请涉及机器人行人感知技术领域，尤其涉及一种面向机器人的行人定位方法及装置、电子设备。

背景技术

行人定位技术是人机交互的基础，在机器人的应用中起着重要作用，机器人只有知道人在哪里，才能更好的服务于人类。行人具有非刚体、姿态变化快等特性，因此准确的对其进行定位是极具挑战的一项任务。现有的方法多采用基于双目视差的定位方法或基于激光雷达、深度相机的定位方法。基于双目视差的行人定位方法使用双目相机，一次处理两张图像，计算量较大；基于二维激光雷达的行人定位方法，难以准确检测出人的位置；基于三维激光雷达的行人定位方法，难以准确定位到人脸；基于深度相机的行人定位方法，定位精度不高。由此可见，低计算量、高精度的行人定位是机器人中亟待解决的问题。

发明内容

本申请实施例的目的是提供一种面向机器人的行人定位方法及装置、电子设备，以解决相关技术中存在的定位计算量大、精度低的问题。

根据本申请实施例的第一方面，提供一种面向机器人的行人定位方法，包括：获取当前时刻单目彩色相机的彩色图像一帧和二维激光雷达数据一帧，所述彩色图像和激光雷达数据应做好时间同步；在所述彩色图像上进行行人检测和人脸检测，得到行人检测矩形框和人脸检测矩形框；根据所述人脸检测矩形框，计算在所述单目彩色相机坐标系下的人脸中心所在的射线方程；根据所述的人脸中心所在的射线方程，结合所述行人检测矩形框、所述激光雷达数据以及所述单目彩色相机和二维激光雷达的内外参，计算得到人脸中心在所述激光雷达坐标系下的三维坐标。

进一步地，根据所述的人脸中心所在的射线方程，结合所述行人检测矩形框、所述激光雷达数据以及所述单目彩色相机和二维激光雷达的内外参，计算得到人脸中心在所述激光雷达坐标系下的三维坐标，包括：

将所述二维激光雷达数据投影到所述彩色图像上；

提取位于所述行人检测矩形框内的二维激光雷达数据；

根据相邻点之间的距离将所述行人检测矩形框内的二维激光雷达数据分割成若干片段；

计算各所述片段中二维激光雷达数据的均值，取距离机器人最近的均值为人脚坐标；

根据所述人脚坐标、所述人脸中心所在的射线方程，结合所述单目彩色相机和二维激光雷达的内外参，计算得到人脸中心在所述激光雷达坐标系下的三维坐标。

进一步地，将所述二维激光雷达数据投影到所述彩色图像上的投影公式为：

其中，P^C为单目彩色图像上的像素坐标，M为单目彩色相机内参矩阵，和分别表示二维激光雷达和单目彩色相机间的旋转关系和平移关系，P^L为二维激光雷达数据。

进一步地，所述人脸中心所在的射线方程计算公式为：

f(k)＝kM^-1[u,v,1]^T

其中k为射线参数，[u,v]^T为人脸中心像素坐标。

进一步地，所述人脸中心在所述激光雷达坐标系下的三维坐标计算公式为：