基于多幅图像的Tensorflow批量预测

Question

我有一个faces列表，其中列表的每个元素都是一个具有形状（1，224，224，3）的numpy数组，即人脸图像。我有一个模型，它的输入形状是(None, 224, 224, 3)，输出形状是(None, 2)

现在我想对faces列表中的所有图像进行预测。当然，我可以遍历列表并逐个获得预测，但我希望将所有图像作为一个批处理，只需一次调用model.predict()即可更快地获得结果

如果我像现在一样直接传递faces列表（最后完成代码），我只会得到第一张图像的预测

print(f"{len(faces)} faces found")
print(faces[0].shape)
maskPreds = model.predict(faces)
print(maskPreds)

输出：

3 faces found
(1, 224, 224, 3)
[[0.9421933  0.05780665]]

但是maskPreds对于3个图像应该是这样的：

[[0.9421933  0.05780665], 
 [0.01584494 0.98415506], 
 [0.09914105 0.9008589 ]] 

完整代码：

from tensorflow.keras.models import load_model
from cvlib import detect_face
import cv2
import numpy as np

def detectAllFaces(frame):
    dets = detect_face(frame)
    boxes = dets[0]
    confidences = dets[1]
    faces = []

    for box, confidence in zip(boxes, confidences):
        startX, startY, endX, endY = box
        cv2.rectangle(frame, (startX, startY), (endX, endY), (0, 255, 0), 1)
        face = frame[startY:endY, startX:endX]
        face = cv2.resize(face, (224, 224))
        face = np.expand_dims(face, axis=0) # convert (224,224,3) to (1,224,224,3)
        faces.append(face)

    return faces, frame

model = load_model("mask_detector.model")
vs = cv2.VideoCapture(0)
model.summary()

while True:
    ret, frame = vs.read()
    if not ret:
        break            
    faces, frame = detectAllFaces(frame)

    if len(faces):
        print(f"{len(faces)} faces found")
        maskPreds = model.predict(faces) # <==========
        print(maskPreds) 

    cv2.imshow("Window", frame)
    if cv2.waitKey(1) == ord('q'):
        break

cv2.destroyWindow("Window")
vs.release()

注意：如果我不将每个图像从（224224，224，3）转换为（1224，224，3），tensorflow会抛出错误，表示输入维度不匹配

ValueError: Error when checking input: expected input_1 to have 4 dimensions, but got array with shape (224, 224, 3)

如何实现批量预测？

Answer 1

在这种情况下model.predict()函数的输入需要作为形状（N，224，224，3）的numpy数组给出，其中N是输入图像的数量

为了实现这一点，我们可以将N大小为（1224224，3）的单个numpy数组堆叠成一个大小为（N，224224224，3）的数组，然后将其传递给model.predict()函数

maskPreds = model.predict(np.vstack(faces))