清理和准备使用机器学习建模的文本
nlpcleaner的Python项目详细描述
NLP清洁剂![Build Status](https://warehouse-camo.ingress.cmh1.psfhosted.org/594aa28a536d9d7071d9ead5956ece56e2c8dea9/68747470733a2f2f7472617669732d63692e6f72672f67696f76616e6e656c6c692f6e6c70636c65616e65722e7376673f6272616e63683d6d6173746572)
清理并准备使用机器学习建模的文本。在
- 全部降低
- 全部脱光
- 删除数字
- 删除符号
- 删除url
- 去除html标记
- 按检测到的语言或传递的语言删除非索引字词
- 旅鼠或旅鼠
使用
from nlpcleaner import TextCleaner
TextCleaner(txt).clean()
测试
^{pr2}$推进PyPi
python setup.py sdist
pip install twine
twine upload dist/*
托多
- 增加测试覆盖不同的案例和语言
- 检查性能
- 项目
标签: