如何将一个大张量输入到型号.fit作为一系列的批次?

2024-09-29 23:21:39 发布

您现在位置:Python中文网/ 问答频道 /正文

我将我的训练数据作为两个Tensor对象(不是ndarray):trainData的(整个数据集大小,特征数)和trainValues的(整个数据集大小,1)(有1个输出值)。你知道吗

我现在把它们喂给我的模特:

model.fit_dyn(trainData, trainValues,
    epochs: 36000,
    steps_per_epoch: 1,
    initial_epoch: startingEpoch,
    verbose: 2,
    validation_data: validation,
    validation_steps: validationSampleCount,
    callbacks: new ICallback[]{
        Run.TensorBoard,
        checkpoints,
    });

我正在考虑按照建议将训练数据分成若干批in some places,尽管数据完全适合内存。你知道吗

我试过这个:

const int BatchSize = 1000;
var trainBatches = tf.split(
    trainData,
    num_or_size_splits: BatchSize);
var trainValueBatches = tf.split(
    trainValues,
    num_or_size_splits: BatchSize);

然后将trainBachestrainValueBatches传递给fit,但我似乎不知道其他参数必须传递什么。似乎fit不喜欢Tensor对象的数组。你知道吗

张量流1.12


Tags: or数据对象vartfstepsnumfit

热门问题