用于文本分类的包装器Ktrain多类并行化与CPU的配合

2024-10-01 05:02:23 发布

您现在位置：Python中文网/ 问答频道 /正文
7954 3

我正试图利用Ktrain包装器解决一个与BERT有关的多类分类问题。由于有大量数据，我想知道是否可以并行化learner.fit_onecycle（3e-4,5）函数或autofit（）函数

例如，在sklerarn中，使用n_jobs参数指定并行作业的数量

你能帮我吗？ 谢谢


Tags： 数据函数利用参数作业jobs分类fit
1条回答
网友
1楼 · 发布于 2024-10-01 05:02:23

首先，如果你在ktrain中使用DistilBert而不是BERT，它将把你的训练时间减少一半。其次，在使用CPU调用ktrain中的任何fit方法时，默认情况下TensorFlow2应使用多核。你可以control the number of CPU cores，如果你愿意的话

相关问题 更多 >

    编程相关推荐