在Python/PySpark中找不到模块“preproc”

Question

我正在努力学习本教程：https://runawayhorse001.github.io/LearningApacheSpark/textmining.html

我已经将数据加载到PySpark数据帧中，但是当我进入预处理步骤时，我收到错误“ModuleNotFoundError:没有名为'preproc'的模块”。我无法在线找到有关pip安装什么以便能够使用preproc模块的任何信息

!！Jupyter笔记本中的pip安装预处理程序返回“默认为用户安装，因为正常的站点包不可写 警告：旧脚本包装器正在调用pip。这将在未来版本的pip中失败。 请参阅https://github.com/pypa/pip/issues/5599以获取有关修复潜在问题的建议。 为了避免这个问题，您可以使用“-m pip”调用Python，而不是直接运行pip。 错误：找不到满足预调试要求的版本（来自版本：无） 错误：找不到预处理程序“”的匹配分发

python-m pip install preproc IN cmd返回“错误：找不到满足preproc要求的版本（从版本：无） 错误：找不到预处理程序“”的匹配分发

如何继续查找要安装的正确软件包

Answer 1

所使用的功能已在前面定义： https://runawayhorse001.github.io/LearningApacheSpark/textmining.html#text-preprocessing

您可以直接使用它们，如check\u lang\u udf=udf（check\u lang，StringType（））。 或者，将这些函数保存到python文件中，作为preproc.py

Answer 2

向教程创建者发送了电子邮件，并将为将来需要帮助的任何人发布他的回复

“预处理模块是为预处理功能而设计的，如check_-blanns、check_-lang、remove_功能等。如果明确包含这些功能，则无需导入预处理模块。”