用变音符号编码阿拉伯字母（如果存在）

Question

我正在做一个深度学习项目，我们使用RNN。我想在数据传输到网络之前对其进行编码。输入是阿拉伯语的韵文，在Python中，这些韵文被视为单独的字符。如果后面的字符是变音符号，我应该用数字来编码/表示字符，否则我只编码字符。在

这样做的数百万诗句，是希望使用lambda和{}。但是，我不能一次迭代两个字符，即希望：

map(lambda ch, next_ch: encode(ch + next_ch) if is_diacritic(next_ch) else encode(ch), verse)

我在这个问题背后的意图是找到实现上述目标的最快方法。对lambda函数没有限制，但是for循环的答案不是我想要的。在

对于非阿拉伯人来说，这是一个很好的例子，假设您要对以下文本进行编码：

^{pr2}$

如果字母是一个特殊字符，则需要在将字母与其后面的字母串联后对其进行编码，否则只对字母进行编码。在

输出：

['X', 'X', 'A)', 'L_', 'I!', 'I%', 'M<', 'L', 'L', 'L>', 'M', 'M', 'Q*', 'Q']

对于阿拉伯人：

诗歌示例：

另一方面则是“ق。”الدّڒولفحَومل”

变音符号是字母上方的小符号（即ّ，ْ）

---

[更新]

Range of diacritics从64B HEX or 1611 INT开始，到652 HEX or 1618 INT结束。在

字母621 HEX - 1569 INT到63A HEX - 1594 INT，从641 HEX - 1601 INT到{a7}

一个字母最多只能有一个音调符号。

---

额外信息：

与我所做的类似的编码方法是将韵文的二进制形式表示为具有形状(number of bits needed, number of characters in a verse)的矩阵。在我们将每个字母与其变音符号（如果存在）合并后，会计算位数和字符数。在

例如，假设诗句如下，变音符号是特殊字符：

X+Y_XX+YYYY_

字母表的不同组合是：

['X', 'X+', 'X_', 'Y', 'Y+', 'Y_']  

因此，我需要3位（至少）来表示这些6字符，因此number of bits needed是{}

考虑以下编码：

{
'X' : 000,
'X+': 001,
'X_': 010,
'Y':  011,
'Y+': 100,
'Y_': 101,
}

我把矩阵中的例子表示为（二进制表示是垂直的）：

X+     Y_    X    X+    Y    Y    Y    Y_
0      1     0    0     0    0    0    1
0      0     0    0     1    1    1    0
1      1     0    1     1    1    1    1

这就是为什么我要先把发音和字母结合起来。在

---

注意：Iterate over a string 2 (or n) characters at a time in Python和{a9}没有给出预期的答案。

Answer 1

您不会一次读取两个字符，即使是这样，map也不会将它们拆分为lambda的两个参数。

from itertools import tee, zip_longest

def pairwise(iterable, fillvalue):
    """ Slightly modified itertools pairwise recipe
    s -> (s0,s1), (s1,s2), (s2, s3), ... 
    """
    a, b = tee(iterable)
    next(b, None)
    return zip_longest(a, b, fillvalue=fillvalue)

def encode_arabic(verse):

    was_diacritic = False  # variable to keep track of diacritics   stops us checking same character twice

    # fillvalue will not be encoded but ensures last char is read
    for this_char, next_char in pairwise(verse, fillvalue='-'):

        if was_diacritic:  # last next_char (so this_char) is diacritic
            was_diacritic = False

        elif is_diacritic(next_char):
            yield encode(this_char + next_char)
            was_diacritic = True

        else:
            yield this_char

encode_arabic(verse)  # returns a generator like map   wrap in list / string.join / whatever