我无法从arabert导入预处理。预处理\u arabert

Question

import pandas as pd
from farasa.segmenter import FarasaSegmenter
from arabert.preprocess import ArabertPreprocessor
from transformers import AutoTokenizer, AutoModel
from arabert.preprocess_arabert import never_split_tokens, preprocess
from sklearn.model_selection import train_test_split

我得到这个错误ModuleNotFoundError:没有名为'arabert.preprocess_arabert'的模块 请帮我解决这个问题

Answer 1

代码和错误之间存在矛盾。您的代码正在导入arabert.prerpocess，您发布的有问题的错误表明arabert.preprocess_arabert中存在导入错误。如果实际代码包含类似arabert.preprocess_arabert的导入，则将其更改为arabert.prerpocess，因为他们已在repository中对其进行了更新

若错误仍然发生，那个么正如你们在评论中所说的，你们已经运行了

!git clone https://github.com/aub-mind/arabert.git

在运行错误行之前

from arabert.preprocess import ArabertPreprocessor

那么很可能您不在同一目录中

使用os.getcwd()检查当前工作目录，并验证是否已在同一目录中克隆了repo

Answer 2

我希望这还不算太晚，但这里有一个补丁供将来参考：

from arabert.preprocess import ArabertPreprocessor, never_split_tokens