例如,我有一个list
(它也可以是numpy.array
或其他任何东西,我只是想知道一个更快的方法,我不关心数据类型)['a','b','c','d']
,我想得到['ab','bc','cd']
当然有一个简单的解决方案,例如:
letters = list('abcdefghijk')
my_list = [letters[i:i+2] for i in range(len(letters)-1)]
而{
[['a', 'b'],
['b', 'c'],
['c', 'd'],
['d', 'e'],
['e', 'f'],
['f', 'g'],
['g', 'h'],
['h', 'i'],
['i', 'j'],
['j', 'k']]
但我想知道是否有更快的方法通过numpy
或其他方式来实现这一点,因为我想用相对较大的数据来实现这一点,因此简单的for
循环可能成本高昂
更新 现在让我总结一下下面的答案。非常感谢@Ehsan和@Andy L给出的答案。我通过下面的代码,用相对较大的数据对他们的所有解决方案进行了非常简单的测试:
import time
import numpy as np
from numba import njit
import matplotlib.pyplot as plt
from numpy.lib.stride_tricks import as_strided
def m1(letters):
return [letters[i]+letters[i+1] for i in range(len(letters)-1)]
@njit
def m2(letters):
return [letters[i]+letters[i+1] for i in range(len(letters)-1)]
def m3(letters):
return np.char.add(letters[:-1], letters[1:])
def m4(letters):
n = len(letters) - 1
m = np.array(letters[0]).itemsize
arr = as_strided(letters, shape=(n, 2), strides=(m, m))
return arr
def test_time(testfunc,args):
start = time.time()
testfunc(*args)
return time.time() - start
# test
ns = [10000, 100000, 1000000, 10000000]
timecost = []
for n in ns:
input_=np.random.choice(list('abcdefghijklmnopqrstuvwxyz'), size=n)
cost = [test_time(testfunc, [input_]) for testfunc in [m1, m2, m3,m4]]
timecost.append(cost)
# result plot
timecost = np.array(timecost)
labels = ['normal','numba.njit','numpy.char.add','numpy.lib.stride_tricks.as_strided']
for i in range(timecost.shape[-1]):
plt.plot(ns, timecost[:, i], label=labels[i])
plt.legend()
plt.savefig('result.png')
结果表明np.char.add
和numba
在更大的数据上,性能确实优于常规方法,但stride_tricks
的性能甚至更好:时间开销减少了两个数量级以上
您可以使用numpy进行此操作:
使用numba的另一种方法:
比较使用
benchit
:它们看起来都一样(注意:不确定
benchit
是否为Numba进行AOT编译):使用
stride_tricks
库中的as_strided
相关问题 更多 >
编程相关推荐