如何在Python中获得可靠的unicode字符数？

Question

googleappengine使用python2.5.2，显然是启用了UCS4。但是GAE数据存储在内部使用UTF-8。因此，如果您将u'\ud834\udd0c'（长度2）存储到数据存储中，当您检索它时，您将得到'\U0001d10c'（长度1）。我试图计算字符串中unicode字符的数量，在存储之前和之后都会得到相同的结果。所以我在计算字符串的长度并将其放入数据存储之前，在我收到字符串后立即将其规范化（从u'\ud834\udd0c'转换为'\U0001d10c'）。我知道我可以把它编码成UTF-8，然后再解码一次，但是有没有更直接、更有效的方法呢？在

Answer 1

I know I can just encode it to UTF-8 and then decode again

是的，当您有“UCS-4string中的UTF-16代理”输入时，这是解决问题的常用习惯用法。但正如机械蜗牛说的，这个输入是畸形的，你应该优先修复产生它的任何东西。在

is there a more straightforward/efficient way?

嗯。。。您可以使用regex手动执行，例如：

re.sub(
    u'([\uD800-\uDBFF])([\uDC00-\uDFFF])',
    lambda m: unichr((ord(m.group(1))-0xD800<<10)+ord(m.group(2))-0xDC00+0x10000),
    s
)

当然不是更直接。。。我也怀疑它是否真的更有效！在