<p>您是否尝试过显示<a href="https://github.com/huggingface/transformers/blob/master/examples/seq2seq/finetune.sh" rel="nofollow noreferrer">here</a>的finetune.sh脚本?除了此处列出的CLI标志短列表外,您还可以尝试添加:</p>
<pre><code> src_lang "en" \
tgt_lang "de" \
num_train_epochs 400 \
warmup_steps 20 \
train_batch_size 32 \
eval_batch_size 32 \
data_dir "/data/dir" \
output_dir "/path/to/store/model/etc" \
cache_dir "/path/for/misc/files" \
max_source_length 128 \
max_target_length 128 \
val_max_target_length 128 \
test_max_target_length 128 \
model_name_or_path "</path/to/pretrained>"
</code></pre>
<p>其中“/path/to/pretrained”可以是您机器上的本地路径,也可以是MarianMT型号(Opus en de或同等型号)。“数据/dir”有一个“train.source”和“train.target”作为源&;目标语言,因此目标的行号x是源代码中x行的翻译(与“val.source”和“val.target”相同)。我已将finetune.py脚本<a href="https://github.com/huggingface/transformers/blob/77cd0e13d2d09f60d2f6d8fb8b08f493d7ca51fe/examples/seq2seq/finetune.py#L415" rel="nofollow noreferrer">here</a>更改为</p>
<pre><code>parser = TranslationModule.add_model_specific_args(parser, os.getcwd())
</code></pre>
<p>然后运行finetune.sh脚本</p>
<p>注意:当我使用“fp16”标志(使用Pytorch 1.6)时,渐变变大了,所以我将其删除。此外,您可能希望检查“val_check_interval”、“check_val_every_n_epoch”,并可能检查如何保存多个检查点</p>