2024-09-26 04:47:53 发布
网友
我要制作一个PyTorch-BERT问答模型。CPU推断对我来说非常慢,因为每个查询模型都需要评估30个样本。从这30个样本的结果中,我选择了得分最高的答案。GPU对我来说太贵了,不能用来推理。在
我可以利用多处理/并行CPU推断来实现这一点吗? 如果是,最佳做法是什么? 如果没有,是否有一个云选项只为我所做的GPU查询而不是连续运行GPU实例向我收费?在
您可以尝试以下方法:
利用Intel Pythorch获得更好的性能。请参阅https://github.com/intel/pytorch安装具有英特尔优化功能的Pythorch。在
您可以使用英特尔优化的Python库。i、 e在创建环境时,请确保通过intel通道。例如:conda create-n环境名称python=3.6-c英特尔。此外,您还可以使用Intel channel安装特定的库。在
另一个选择是尝试使用Horovod for PyTorch进行多节点分布式训练。有关详细信息,请参阅链接https://github.com/horovod/horovod#pytorch。在
另一种获得更好性能的可能方法是尽可能减少模型。在
量化和二值化神经网络是最有前途的技术之一。以下是一些参考资料:
您可以尝试以下方法:
利用Intel Pythorch获得更好的性能。请参阅https://github.com/intel/pytorch安装具有英特尔优化功能的Pythorch。在
您可以使用英特尔优化的Python库。i、 e在创建环境时,请确保通过intel通道。例如:conda create-n环境名称python=3.6-c英特尔。此外,您还可以使用Intel channel安装特定的库。在
另一个选择是尝试使用Horovod for PyTorch进行多节点分布式训练。有关详细信息,请参阅链接https://github.com/horovod/horovod#pytorch。在
另一种获得更好性能的可能方法是尽可能减少模型。在
量化和二值化神经网络是最有前途的技术之一。以下是一些参考资料:
相关问题 更多 >
编程相关推荐