当内核忙(已连接)时,单元变得无响应

2024-09-30 16:32:29 发布

您现在位置:Python中文网/ 问答频道 /正文

我一直在尝试运行BERTopic以获取5MB文本数据。一旦我运行代码,下面代码的单元格不会给出响应,没有错误。下面的代码也不会运行,因为笔记本的行为就像有问题一样,其余的代码不会运行

Colab上的代码没有问题,但是,由于collab上的ram问题,我需要在本地机器(MacProM1)上的JupyterLab上运行代码

from bertopic import BERTopic 
topic_model = BERTopic(embedding_model='bert-base-nli-mean-tokens')
topics,_= topic_model.fit_transform(sentences)

一旦我运行了下面的代码,当内核仍处于连接状态时,计算单元就会毫无错误地变得不负责任。 作为解决办法,

  1. 我试图将所有代码转移到JupyterLab的一个新笔记本上,但也没能解决这个问题
  2. 我卸载并再次安装了该项目所需的所有软件包,但仍然没有解决方案
  3. 我也试过!pip install --upgrade ipykernel,但效果不太好。 how the cell looks

Tags: 数据代码from文本机器topicmodel错误
1条回答
网友
1楼 · 发布于 2024-09-30 16:32:29

首先也是最重要的是,Jupyter笔记本电脑中的电池可能对many reasons无反应。因此,我将从这里开始寻找适当的调试

因此,在我的实验环境中加载基于伯特的模型,同时在笔记本电脑上运行许多其他东西时,我也会遇到同样的情况。大多数预先训练的模型都相当庞大,加载时会占用内存空间。如果没有足够的空间来存放模型,笔记本就会变成空白状态,你必须从头开始重新运行

以下是导入SBERT和加载模型时使用的内存量示例:

%%memit
from sentence_transformers import SentenceTransformer

输出:peak memory: 264.45 MiB, increment: 216.70 MiB

%%memit
model = SentenceTransformer('bert-base-nli-mean-tokens')

输出:peak memory: 1103.46 MiB, increment: 838.79 MiB

这告诉我,这两行使用了高达1GB的可用内存。我会先看看你的内存使用情况

相关问题 更多 >