有没有一种快速的方法来获取列表中的所有相邻元素?

2024-05-19 17:07:58 发布

您现在位置:Python中文网/ 问答频道 /正文

例如,我有一个list(它也可以是numpy.array或其他任何东西,我只是想知道一个更快的方法,我不关心数据类型)['a','b','c','d'],我想得到['ab','bc','cd']

当然有一个简单的解决方案,例如:

letters = list('abcdefghijk')
my_list = [letters[i:i+2] for i in range(len(letters)-1)]

而{}是:

[['a', 'b'],
 ['b', 'c'],
 ['c', 'd'],
 ['d', 'e'],
 ['e', 'f'],
 ['f', 'g'],
 ['g', 'h'],
 ['h', 'i'],
 ['i', 'j'],
 ['j', 'k']]

但我想知道是否有更快的方法通过numpy或其他方式来实现这一点,因为我想用相对较大的数据来实现这一点,因此简单的for循环可能成本高昂

更新 现在让我总结一下下面的答案。非常感谢@Ehsan和@Andy L给出的答案。我通过下面的代码,用相对较大的数据对他们的所有解决方案进行了非常简单的测试:

import time
import numpy as np
from numba import njit
import matplotlib.pyplot as plt
from numpy.lib.stride_tricks import as_strided

def m1(letters):
    return [letters[i]+letters[i+1] for i in range(len(letters)-1)]

@njit
def m2(letters):
    
    return [letters[i]+letters[i+1] for i in range(len(letters)-1)]

def m3(letters):
    return np.char.add(letters[:-1], letters[1:])

def m4(letters):
    n = len(letters) - 1
    m = np.array(letters[0]).itemsize
    arr = as_strided(letters, shape=(n, 2), strides=(m, m))
    return arr

def test_time(testfunc,args):
    start = time.time()
    testfunc(*args)
    return time.time() - start

# test
ns = [10000, 100000, 1000000, 10000000]
timecost = []
for n in ns:
    input_=np.random.choice(list('abcdefghijklmnopqrstuvwxyz'), size=n)
    cost = [test_time(testfunc, [input_]) for testfunc in [m1, m2, m3,m4]]
    timecost.append(cost)

# result plot
timecost = np.array(timecost)
labels = ['normal','numba.njit','numpy.char.add','numpy.lib.stride_tricks.as_strided']
for i in range(timecost.shape[-1]):
    plt.plot(ns, timecost[:, i], label=labels[i])
plt.legend()
plt.savefig('result.png')

结果是: Horizontal axis: size of data, Vertical axis: time in seconds

结果表明np.char.addnumba在更大的数据上,性能确实优于常规方法,但stride_tricks的性能甚至更好:时间开销减少了两个数量级以上


Tags: inimportnumpyforlenreturntimedef
2条回答

您可以使用numpy进行此操作:

np.char.add(letters[:-1],letters[1:])
#['ab' 'bc' 'cd' 'de' 'ef' 'fg' 'gh' 'hi' 'ij' 'jk']

使用numba的另一种方法:

@njit
def m2(letters):
  return [letters[i]+letters[i+1] for i in range(len(letters)-1)]

比较使用benchit

def m1(letters):
  return [letters[i]+letters[i+1] for i in range(len(letters)-1)]

@njit
def m2(letters):
  return [letters[i]+letters[i+1] for i in range(len(letters)-1)]

def m3(letters):
  return np.char.add(letters[:-1],letters[1:])

in_ = [np.random.choice(list(string.ascii_lowercase),size=n) for n in [100,1000,10000,100000]]

它们看起来都一样(注意:不确定benchit是否为Numba进行AOT编译):

enter image description here

使用stride_tricks库中的as_strided

from numpy.lib.stride_tricks import as_strided

n = len(letters) - 1
m = np.array(letters[0]).itemsize

arr = as_strided(letters, shape=(n, 2), strides=(m, m))

Out[289]:
array([['a', 'b'],
       ['b', 'c'],
       ['c', 'd'],
       ['d', 'e'],
       ['e', 'f'],
       ['f', 'g'],
       ['g', 'h'],
       ['h', 'i'],
       ['i', 'j'],
       ['j', 'k']], dtype='<U1')

相关问题 更多 >