在Android中使用OpenCV从图像中删除背景

Question

我想删除Android中打开CV的图像背景。代码运行良好，但输出质量不符合预期。我遵循java文档进行代码参考：

https://opencv-java-tutorials.readthedocs.io/en/latest/07-image-segmentation.html

谢谢

原始图像

我的输出 预期产量

我在Android中的代码片段：

private fun doBackgroundRemoval(frame: Mat): Mat? {
    // init
    val hsvImg = Mat()
    val hsvPlanes: List<Mat> = ArrayList()
    val thresholdImg = Mat()
    var thresh_type = Imgproc.THRESH_BINARY_INV
    thresh_type = Imgproc.THRESH_BINARY

    // threshold the image with the average hue value
    hsvImg.create(frame.size(), CvType.CV_8U)
    Imgproc.cvtColor(frame, hsvImg, Imgproc.COLOR_BGR2HSV)
    Core.split(hsvImg, hsvPlanes)

    // get the average hue value of the image
    val threshValue: Double = getHistAverage(hsvImg, hsvPlanes[0])
    threshold(hsvPlanes[0], thresholdImg, threshValue, 78.0, thresh_type)
    Imgproc.blur(thresholdImg, thresholdImg, Size(1.toDouble(), 1.toDouble()))

    val kernel1 =
        Imgproc.getStructuringElement(Imgproc.MORPH_ELLIPSE, Size(11.toDouble(), 11.toDouble()))
    val kernel2 = Mat.ones(3, 3, CvType.CV_8U)
    // dilate to fill gaps, erode to smooth edges
    Imgproc.dilate(thresholdImg, thresholdImg, kernel1, Point(-1.toDouble(), -1.toDouble()), 1)
    Imgproc.erode(thresholdImg, thresholdImg, kernel2, Point(-1.toDouble(), -1.toDouble()), 7)
    threshold(thresholdImg, thresholdImg, threshValue, 255.0, Imgproc.THRESH_BINARY_INV)

    // create the new image
    val foreground = Mat(
        frame.size(), CvType.CV_8UC3, Scalar(
            255.toDouble(),
            255.toDouble(),
            255.toDouble()
        )
    )
    frame.copyTo(foreground, thresholdImg)
    val img_bitmap =
        Bitmap.createBitmap(foreground!!.cols(), foreground!!.rows(), Bitmap.Config.ARGB_8888)
    Utils.matToBitmap(foreground!!, img_bitmap)
    imageView.setImageBitmap(img_bitmap)

    return foreground
}

Answer 1

代码

import cv2
import numpy as np

def process(img):
    img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    img_canny = cv2.Canny(img_gray, 10, 20)
    kernel = np.ones((13, 13))
    img_dilate = cv2.dilate(img_canny, kernel, iterations=1)
    return cv2.erode(img_dilate, kernel, iterations=1)
    
def get_mask(img):
    contours, _ = cv2.findContours(process(img), cv2.RETR_TREE, cv2.CHAIN_APPROX_NONE)
    blank = np.zeros(img.shape[:2]).astype('uint8')
    for cnt in contours:
        if cv2.contourArea(cnt) > 500:
            peri = cv2.arcLength(cnt, True)
            approx = cv2.approxPolyDP(cnt, peri * 0.004, True)
            cv2.drawContours(blank, [approx], -1, 255, -1) 
    return blank

img = cv2.imread("crystal.jpg")
img_masked = cv2.bitwise_and(img, img, mask=get_mask(img))

cv2.imshow("Masked", img_masked)
cv2.waitKey(0)

输出

解释

1. 导入必要的库：

import cv2
import numpy as np

1. 定义一个函数来处理图像，使其适合于正确的轮廓检测。在函数中，首先将图像转换为灰度，然后使用canny边缘检测器检测其边缘。检测到边缘后，我们可以对其进行一次放大和腐蚀，以使边缘更加完整：

def process(img):
    img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    img_canny = cv2.Canny(img_gray, 10, 20)
    kernel = np.ones((13, 13))
    img_dilate = cv2.dilate(img_canny, kernel, iterations=1)
    return cv2.erode(img_dilate, kernel, iterations=1)

1. 定义一个函数以生成图像的遮罩。在找到图像的轮廓后，用图像的形状定义灰度空白图像，绘制每个轮廓Em>（大于^ {CD1> }的区域以滤除噪声）< EEM >填充到空白图像上。我还对轮廓进行了近似处理，以稍微平滑一些：

def get_mask(img):
    contours, _ = cv2.findContours(process(img), cv2.RETR_TREE, cv2.CHAIN_APPROX_NONE)
    blank = np.zeros(img.shape[:2]).astype('uint8')
    for cnt in contours:
        if cv2.contourArea(cnt) > 500:
            peri = cv2.arcLength(cnt, True)
            approx = cv2.approxPolyDP(cnt, peri * 0.004, True)
            cv2.drawContours(blank, [approx], -1, 255, -1) 
    return blank

1. 最后，读入图像，并使用cv2.bitwise_and方法以及我们定义的get_mask函数屏蔽图像，该函数使用我们定义的process函数。最后显示蒙版图像：

img = cv2.imread("crystal.jpg")
img_masked = cv2.bitwise_and(img, img, mask=get_mask(img))

cv2.imshow("Masked", img_masked)
cv2.waitKey(0)

透明背景

您可以使用cv2.merge方法代替cv2.bitwise_and方法：

img = cv2.imread("crystal.jpg")
img_masked = cv2.merge(cv2.split(img) + [get_mask(img)])
cv2.imwrite("masked_crystal.png", img_masked)

生成的图像（屏幕截图）：

说明：

1. 请记住，我们已经将cv2模块和numpy模块作为np导入。我们还定义了一个process函数和一个get_mask函数，我们可以在图像中读取：

img = cv2.imread("crystal.jpg")

1. cv2.split方法接收图像数组并返回图像中存在的每个通道的列表。在我们的例子中，我们只有3个通道，为了使图像透明，我们需要第四个通道：alpha通道。cv2.merge方法的作用与cv2.split相反；它接收单个通道的列表，并返回带有通道的图像数组。接下来，我们在列表中获取图像的bgr通道，并将图像的掩码连接为alpha通道：

img_masked = cv2.merge(cv2.split(img) + [get_mask(img)])

1. 最后，我们可以将四通道图像写入文件：

cv2.imwrite("masked_crystal.png", img_masked)

下面是cv2.merge方法的更多示例：Python cv2.merge() Examples