neologdn 0.4

安装

$ pip install neologdn

用法

importneologdnneologdn.normalize("ﾊﾝｶｸｶﾅ")# => 'ハンカクカナ'neologdn.normalize("全角記号！？＠＃")# => '全角記号!?@#'neologdn.normalize("全角記号例外「・」")# => '全角記号例外「・」'neologdn.normalize("長音短縮ウェーーーーイ")# => '長音短縮ウェーイ'neologdn.normalize("チルダ削除ウェ~∼∾〜〰～イ")# => 'チルダ削除ウェイ'neologdn.normalize("いろんなハイフン˗֊‐‑‒–⁃⁻₋−")# => 'いろんなハイフン-'neologdn.normalize("　　　ＰＲＭＬ　　副　読　本　　　")# => 'PRML副読本'neologdn.normalize(" Natural Language Processing ")# => 'Natural Language Processing'neologdn.normalize("かわいいいいいいいいい",repeat=6)# => 'かわいいいいいい'neologdn.normalize("無駄無駄無駄無駄ァ",repeat=1)# => '無駄ァ'

基准

# Sample code from# https://github.com/neologd/mecab-ipadic-neologd/wiki/Regexp.ja#python-written-by-hideaki-t--overlastimportnormalize_neologd%timeitnormalize(normalize_neologd.normalize_neologd)# => 1 loop, best of 3: 18.3 s per loopimportneologdn%timeitnormalize(neologdn.normalize)# => 1 loop, best of 3: 9.05 s per loop

neologdn比示例代码快2倍。

详情如下： https://github.com/ikegami yukino/neologdn/blob/master/benchmark/benchmark.ipynb

许可证

apache软件许可证。