在Raspberry PI上将深度贴图转换为点云以实现实时应用

Question

我正在开发一个基于StereoPI的机器人。我已经成功校准了摄像机，并获得了相当精确的深度图。但是，我无法将深度贴图转换为点云，以便获得对象的实际距离。我一直在尝试使用cv2.ReprojectionTo3D，但没有看到成功。请问是否有教程或指南教你如何将视差图转换为点云

我正在努力学习和寻找可靠的信息来源，但看到了有用的。所以，提前非常感谢你

Answer 1

通过校准相机，您可以计算其内部方向参数（IOP或内部参数）。要根据视差计算XYZ坐标，还需要外部方向参数（EOP）

如果希望点云相对于机器人位置，可以简化EOP，否则，需要考虑机器人的位置和旋转，可以使用GNSS接收器和惯性测量单元（IMU）进行检索。请注意，这类数据很可能需要使用卡尔曼滤波器进行处理

然后，假设您同时获得了（i）相机的IOP和EOP，以及（ii）视差贴图，您可以通过交点生成点云。有几种方法可以实现这一点，我建议使用共线方程