如何在kinect v1深度图像中填充黑色补丁

Question

我使用的对象分割数据集包含以下信息：

Introduced: IROS 2012

Device: Kinect v1

Description: 111 RGBD images of stacked and occluding objects on table.

Labelling: Per-pixel segmentation into objects.

页面链接：http://www.acin.tuwien.ac.at/?id=289

我试图使用数据集提供的深度图。然而，深度图似乎是完全黑色的。

以上深度图的原始图像

我试着做一些预处理和归一化的图像，以便深度地图可以可视化的形式，灰色图像。在

^{pr2}$

执行此预处理的结果是：

在stackoverflow的一篇文章中，我读到这些黑色补丁是深度映射没有定义的区域。

如果我必须使用这个深度图，那么填充这些未定义区域的最佳方法是什么？（我在考虑用K-近邻填充这些区域，但我觉得有更好的方法来实现这一点）。在

是否有任何RGB-D数据集不存在此类问题或此类问题始终存在？解决这些问题的最好办法是什么？在

提前谢谢！在

Answer 1

几乎每一种3d成像技术都会产生无效或缺失点的数据。缺乏纹理，坡度太陡，模糊，透明，反射，。。。你说吧。在

没有什么神奇的方法可以填补这些漏洞。你需要一些插值，或者你可以根据一些模型来替换缺失的点。在

互联网上充满了填补漏洞的方法。大多数强度图像的技术都可以成功地应用于深度图像。在

这将取决于您的应用程序、需求以及您对对象的了解。在

三维数据质量是一个时间、金钱和对象与技术正确结合的问题。在

Answer 2

吸收或散射Kinect IR的区域（如光滑表面或锐边）将填充零像素值（表示未计算的深度）。近似填充这些区域周围未捕获数据的方法是使用5x5窗口的统计中值。这种方法对Kinect深度图像效果很好。在链接中可以看到Matlab和C#的示例实现。在