我有一个名为messages.txt
的文件,它由许多以行分隔的句子组成。我试图排除包含非字母字符的行(我只想要包含A-Z字符的行)
import re
import string
lines = [line.rstrip() for line in open('messages.txt', encoding='utf-8')]
cleaned_lines = [s.replace("!", "").replace(".", "").replace("?", "").replace(",", "") for s in lines]
output_lines = []
for line in cleaned_lines:
if line.replace(' ', '').isalpha() == True:
output_lines.append(re.sub(r'\W+', '', line.lower()))
chars = sorted(set(('').join(output_lines)))
print(chars)
输出:
['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', 'ª', 'â', 'ã', 'å', 'ð', 'ÿ', 'œ', 'š', 'ž', 'ƒ', 'ˆ']
可以看出,isalpha()方法似乎没有排除奇怪的
'â', 'ã', 'å', 'ð', 'ÿ'
我有一种感觉,这可能是由于文件正在被读入的编码,但是,我假设isalpha方法与模式RegEx结合应该能够过滤掉这些字符
这是故意的吗?如果是,可以用什么方法来删除这些奇怪的字符
根据我使用UTF-8编码的Python脚本进行的本地测试,
isalpha()
对于包含重音字符的输入返回false:在任何情况下,如果要过滤掉包含非ASCII字母数字字符的任何行,则只需在初始列表中使用
re.search
:读取编码为UTF-8的文件时:
lines
中的数据是Unicode字符串。根据使用的操作系统/编辑器的不同,重音字符可以“组合”(对某些重音字母使用单个代码点)或“分解”(使用两个代码点,一个字母和一个组合重音)您可以强制使用适用于您的表单:
输出。请注意
ascii()
函数将accedenda
显示为单个代码点\xe5
或对a\u030a
:要仅查找ASCII字母,请同时使用
isalpha()
和isascii()
进行测试相关问题 更多 >
编程相关推荐