我一直在尝试运行BERTopic以获取5MB文本数据。一旦我运行代码,下面代码的单元格不会给出响应,没有错误。下面的代码也不会运行,因为笔记本的行为就像有问题一样,其余的代码不会运行
Colab上的代码没有问题,但是,由于collab上的ram问题,我需要在本地机器(MacProM1)上的JupyterLab上运行代码
from bertopic import BERTopic
topic_model = BERTopic(embedding_model='bert-base-nli-mean-tokens')
topics,_= topic_model.fit_transform(sentences)
一旦我运行了下面的代码,当内核仍处于连接状态时,计算单元就会毫无错误地变得不负责任。 作为解决办法,
!pip install --upgrade ipykernel
,但效果不太好。
how the cell looks
首先也是最重要的是,Jupyter笔记本电脑中的电池可能对many reasons无反应。因此,我将从这里开始寻找适当的调试
因此,在我的实验环境中加载基于伯特的模型,同时在笔记本电脑上运行许多其他东西时,我也会遇到同样的情况。大多数预先训练的模型都相当庞大,加载时会占用内存空间。如果没有足够的空间来存放模型,笔记本就会变成空白状态,你必须从头开始重新运行
以下是导入SBERT和加载模型时使用的内存量示例:
输出:
peak memory: 264.45 MiB, increment: 216.70 MiB
输出:
peak memory: 1103.46 MiB, increment: 838.79 MiB
这告诉我,这两行使用了高达1GB的可用内存。我会先看看你的内存使用情况
相关问题 更多 >
编程相关推荐