matplotlib选择图像的框区域，然后放大

Question

使用opencv从网络摄像头获取帧，然后进行绘图。 我在图的中心画一个矩形，然后得到选定的区域并显示在另一个绘图中（通过插值放大）

import matplotlib.pyplot as plt
import matplotlib.animation as animation

import cv2

boxSize = 150
enlargeBy = 3

def getBoxCoordinates(cap, size):
    width = cap.get(3)
    height = cap.get(4)
    x1 = int(width / 2) - int(size / 2)
    y1 = int(height / 2) - int(size / 2)
    x2 = int(width / 2) + int(size / 2)
    y2 = int(height / 2) + int(size / 2)

    return [(x1, y1), (x2, y2)]

def getBox(cap, boxSize, frame, enlargeBy):
    [(x1, y1), (x2, y2)] = getBoxCoordinates(cap, boxSize);

    # Get pixels in box
    box_img = frame[y1 + 1:y2, x1 + 1:x2]  # +1 cuz it excludes initial pixel interval
    return cv2.resize(box_img, None, fx=enlargeBy, fy=enlargeBy,
                      interpolation=cv2.INTER_LINEAR)  # different interpolation methods

cap = cv2.VideoCapture(0);
ret, frame = cap.read()

figWidth = 20
figHeight = 8
fig = plt.figure(figsize=(figWidth, figHeight))


enlarged = getBox(cap, boxSize, frame, enlargeBy)
[(x1, y1), (x2, y2)] = getBoxCoordinates(cap, boxSize);
cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 0, 255), lineType=1)


video_plot = plt.subplot2grid((figHeight, figWidth), (0, 0), colspan=4, rowspan=4)
video_plot.axis('off')
video_plot.set_title("Camera feed")
video = video_plot.imshow(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))


box_plot = plt.subplot2grid((figHeight, figWidth), (0, 4), colspan=4, rowspan=4)
box_plot.axis('off')
box_plot.set_title("Box")
box = box_plot.imshow(cv2.cvtColor(enlarged, cv2.COLOR_BGR2RGB)) #frame just to start


def updatefig(i):
    ret, frame = cap.read()
    cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 0, 255), lineType=1)

    enlarged = getBox(cap, boxSize, frame, enlargeBy)

    video.set_data(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))
    box.set_data(cv2.cvtColor(enlarged, cv2.COLOR_BGR2RGB))

    return [video, box]

ani = animation.FuncAnimation(fig, updatefig, interval=20, frames=200, blit=True)

plt.tight_layout()
plt.show()


cv2.destroyAllWindows()


plt.show()

我遇到的奇怪问题是，我在框架上绘制的矩形没有正确显示：它只显示一个或几个边。 我注意到，当图形尺寸发生变化时，这种情况会发生变化，例如上面的代码只显示底部和左侧，如果我更改：

^{pr2}$

然后我看到了底部、右侧和顶部，但没有看到左侧。在

不知道到底是什么原因造成了这种情况，也不知道该怎么解决。在

Answer 1

cv2.rectangle作为像素绘制到图像中。现在的问题是图像中可能有更多的像素可以用imshow图显示在屏幕上。E、 g.在cv图像中有1200个像素，并且在屏幕上以300个像素显示此图像，则需要matplotlib将4个实际像素插值为1个屏幕像素，这样就有75%的机会丢失要显示的一个像素。在

显而易见的解决方案是使矩形的线条变粗。在

cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 0, 255), thickness=3)

但是，这会产生副作用，在放大图片中也有矩形的线条：

因此，另一个选择可能是在imshow图的顶部用matplotlib绘制矩形。此矩形只需绘制一次，但必须是updatefig返回列表的一部分。在

^{pr2}$