如何使用python消除列表中的重复元素？

Question

我有一个python脚本，它解析.txt文件并生成一个列表，如下所示：

['test=testTC101', 'test=testTC101', 'test=testTC102', 'test=testTC102', 'test=testTC103', 'test=testTC103', 'test=testTC104', 'test=testTC104', 'test=testTC105', 'test=testTC105', 'test=testTC106', 'test=testTC106', 'test=testTC107', 'test=testTC107']

我需要消除重复。我怎么才能做到呢？在

Answer 1

如果您碰巧要求保留订单：

def best_case_iteruniq(iterable, key=None):
    memo_hash = set()
    memo_else = list()

    add_hash = memo_hash.add
    add_else = memo_else.append

    if key is None:
        def predicate(item):
            try:
                hash(item)

            except TypeError:
                if item in memo_else:
                    return False

                add_else(item)
                return True

            else:
                if item in memo_hash:
                    return False

                add_hash(item)
                return True


    else:
        def predicate(actual_item):
            item = key(actual_item)

            try:
                hash(item)

            except TypeError:
                if item in memo_else:
                    return False

                add_else(item)
                return True

            else:
                if item in memo_hash:
                    return False

                add_hash(item)
                return True

    return filter(predicate, iterable)

这是我不久前开发的一个lil'工具，它允许您在尽可能短的时间内（假设没有完全有序的非散列元素），同时它还允许key来取消对它们的验证。在

不过，在这种情况下，这几乎肯定是杀伤力太大了。但它在那里，而且是免费的。在

Answer 2

只需使用set：

>>> x = ['test=testTC101', 'test=testTC101', 'test=testTC102', 'test=testTC102', 
...      'test=testTC103', 'test=testTC103', 'test=testTC104', 'test=testTC104', 
...      'test=testTC105', 'test=testTC105', 'test=testTC106', 'test=testTC106', 
...      'test=testTC107', 'test=testTC107']
>>> set(x)
set(['test=testTC101', 'test=testTC103', 'test=testTC102', 'test=testTC105', 
'test=testTC104', 'test=testTC107', 'test=testTC106'])
>>>

然后，您可以始终使用list将其返回到列表中：

^{pr2}$

保证集合没有重复项。在