如何将字符串拆分为标记？

Question

如果我有绳子

'x+13.5*10x-4e1'

如何将其拆分为以下令牌列表？

['x', '+', '13', '.', '5', '*', '10', 'x', '-', '4', 'e', '1']

目前我正在使用shlex模块：

str = 'x+13.5*10x-4e1'
lexer = shlex.shlex(str)
tokenList = []
for token in lexer:
    tokenList.append(str(token))
return tokenList

但这又回来了：

['x', '+', '13', '.', '5', '*', '10x', '-', '4e1']

所以我想把字母和数字分开。我正在考虑将包含字母和数字的字符串以某种方式拆分，但不确定如何执行此操作，也不知道如何在之后将它们与其他字符串一起重新添加到列表中。重要的是标记要保持有序，我不能有嵌套列表。

在一个理想的世界里，e和e不会以同样的方式被认作字母，所以

'-4e1'

会变成

['-', '4e1']

但是

'-4x1'

会变成

['-', '4', 'x', '1']

有人能帮忙吗？

Answer 1

使用正则表达式模块的split()函数，在

• '\d+'——数字（数字字符）和
• '\W+'——非字字符：

代码：

import re

print([i for i in re.split(r'(\d+|\W+)', 'x+13.5*10x-4e1') if i])

输出：

['x', '+', '13', '.', '5', '*', '10', 'x', '-', '4', 'e', '1']

如果不想分隔点（作为表达式中的浮点数），则应使用以下命令：

• [\d.]+——数字或点字符（尽管这允许您写：13.5.5）

代码：

print([i for i in re.split(r'([\d.]+|\W+)', 'x+13.5*10x-4e1') if i])

输出：

['x', '+', '13.5', '*', '10', 'x', '-', '4', 'e', '1']

Answer 2

嗯，问题似乎不太简单。我认为，获得健壮（但不幸的是，不是很短）解决方案的一个好方法是使用Python Lex-Yacc创建一个全权值标记器。Lex Yacc是一种常见的（不仅是Python）实践，因此可以有现成的语法来创建一个简单的算术标记器（like this one），您只需根据您的特定需要来调整它们。

Answer 3

这里不建议的另一种选择是使用nltk.tokenize模块