南京大学nlp小组开发的汉语分词器

njuseg的Python项目详细描述


1 Installation and Usage

1.1 Installation

通过PIP安装:

pip install njuseg

1.2 Usage

fromnjusegimportSegmentersegmenter=Segmenter.load_model(model_pth,use_gpu=True)sentences=['美国联邦储备委员会 16 日发布的全国经济形势调查报告显示,去年 12 月初至今年 1 月上旬,美国经济继续温和扩张,但美国企业对经济前景的乐观程度有所下降。','美联储注意到了市场对全球经济放缓等风险因素的担心,但当前美国经济发生衰退的风险并未上升。']segmented_sentences=segmenter.seg(sentences)

2 Performance

域中的

2.1:

预训练的unigram+bigram嵌入

PKUMSRCTB5CTB6NLPCC
96.6396.5298.1496.1395.82

3 Speed

在CPU上:每秒20K个字符 在单个NVIDIA GTX 1080 GPU上:每秒160K个字符

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
迭代值时的java HashMap线程安全性   java Android:从sqlite数据库检索数据   java OpeNni:颜色坐标到深度坐标   替换Java将所有逗号替换为分号,引号内的逗号除外   java如何获取数据库中的图像,并将其设置为特定行的表的“tooltipText()   java如何使用“没有休息吗?   java Spring引导与Gradle版本的Gradle问题   java无法更新oracle中的clob字段   用Java创建一个简单的银行账户   java openfire服务器是否实现了地雷功能?   java Android获取支持的区域设置列表   用sqlite安卓实现java简单数学计算   JavaAEMServlet获取请求头值   在java中生成随机16位数字   有类似dotnetkicks的东西吗。com for Java   xml@xmlanyement不会解组为特定的Java类型,而是在JAXBElement处停止   尝试反序列化对象时发生java错误   java如何将JSON对象从POSTMAN发送到Restful Web服务   com的java性能。太阳网httpserver。HttpServer和HttpURLConnection?