Python中文
首页
教程
问答
标签
搜索
登录
注册
标记化modu
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>请帮忙</p> <p>在模块标记化中有许多标记,如字符串、反引号、amperqual等</p> <pre><code>>>> import cStringIO >>> import tokenize >>> source = "{'test':'123','hehe':['hooray',0x10]}" >>> src = cStringIO.StringIO(source).readline >>> src = tokenize.generate_tokens(src) >>> src <generator object at 0x00BFBEE0> >>> src.next() (51, '{', (1, 0), (1, 1), "{'test':'123','hehe':['hooray',0x10]}") >>> token = src.next() >>> token (3, "'test'", (1, 1), (1, 7), "{'test':'123','hehe':['hooray',0x10]}") >>> token[0] 3 >>> tokenize.STRING 3 >>> tokenize.AMPER 19 >>> tokenize.AMPEREQUAL 42 >>> tokenize.AT 50 >>> tokenize.BACKQUOTE 25 </code></pre> <p>这就是我试验过了。但是我不明白他们的意思?在</p> <p>据我所知,我需要立即解决。在</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>您需要阅读python的代码<a href="http://svn.python.org/view/python/trunk/Parser/tokenizer.c?revision=65543&view=markup" rel="nofollow noreferrer">tokenizer.c</a>来理解细节。 只需搜索你想知道的关键字。应该不难。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
如何根据与其他行比较的列表筛选序列?
5 回答
如何根据与前一行的差异对行进行分组?
10 回答
如何根据与另一个图像匹配的图像特征来变换图像?
9 回答
如何根据与另一个模型的关系在模板视图中查询另一个Django模型
7 回答
如何根据与已知参考轨迹的距离过滤出位置数据?
2 回答
如何根据与现有值比较的下限和上限创建新的pandas系列
10 回答
如何根据与输入字符串共享的特征从数据集中获取值
7 回答
如何根据与长生不老药的多对多关系排序?
7 回答
如何根据世代显示,x'攻击'和y'防御'
7 回答
如何根据两个CSV文件中的公共信息用Python合并两个CSV文件?
10 回答
如何根据两个CSV文件的相似性比较它们的行?
9 回答
如何根据两个不同列的值在一列中填充NaN
10 回答
如何根据两个不同列的日期获取交叉联接表的唯一记录?
2 回答
如何根据两个不同列表中的相应值创建if语句?
5 回答
如何根据两个不同栏目的分数组成三个不同的班级,有人能指导我吗,请参考我的代码
7 回答
如何根据两个不同的字符串检查变量?9行examp
3 回答
如何根据两个值对词典进行分组?
1 回答
如何根据两个列表获得自定义元组的计数
3 回答
如何根据两个变量的条件打印特定输出
4 回答
如何根据两个变量重新采样以均匀地派生类?
5 回答