清理和准备使用机器学习建模的文本
nlpcleaner的Python项目详细描述
NLP清洁剂
清理并准备使用机器学习建模的文本。在
- 全部降低
- 全部脱光
- 删除数字
- 删除符号
- 删除url
- 去除html标记
- 按检测到的语言或传递的语言删除非索引字词
- 旅鼠或旅鼠
使用
from nlpcleaner import TextCleaner
TextCleaner(txt).clean()
测试
^{pr2}$推进PyPi
python setup.py sdist
pip install twine
twine upload dist/*
托多
- 增加测试覆盖不同的案例和语言
- 检查性能
- 项目
标签: