NLTK中是否有用于文本规范化和规范化的类？

Question

NLTK文档和示例的流行数量专门用于元素化和词干处理，但很少涉及以下规范化问题：

• 将所有字母转换为小写或大写
• 删除标点符号
• 将数字转换为单词
• 删除重音符号和其他音调符号
• 扩展缩写
• 删除停止字或“太普通”字
• 文本规范化（tumor=tumor，it's=it is）

请告诉我在NLTK的什么地方挖。欢迎任何用于上述目的的NLTK等价物（JAVA或任何其他）。谢谢。

升级版。我已经为文本到语音的目的编写了一个文本规范化的python库https://github.com/soshial/text-normalization。它可能也适合你。

Answer 1

我可能会晚一点，但这可能会有帮助。以下是某些语言（英语、法语、德语、Finish、匈牙利语、土耳其语、俄语、捷克语、希腊语、阿拉伯语、汉语、日语、韩语、加泰罗尼亚语、波兰语、希伯来语、挪威语、瑞典语、意大利语、葡萄牙语和西班牙语）的停止词： https://pypi.python.org/pypi/many-stop-words