为什么随机抽样的比例与数据集而不是样本大小？（pandas.sample（）示例）

Question

当从不同大小的分布中随机抽样时，我惊讶地发现执行时间似乎主要是随着数据集的大小而变化的，而不是被采样的值的数量。示例：

import pandas as pd
import numpy as np
import time as tm

#generate a small and a large dataset
testSeriesSmall = pd.Series(np.random.randn(10000))
testSeriesLarge = pd.Series(np.random.randn(10000000))

sampleSize = 10
tStart = tm.time()
currSample = testSeriesLarge.sample(n=sampleSize).values
print('sample %d from %d values: %.5f s' % (sampleSize, len(testSeriesLarge), (tm.time() - tStart)))

tStart = tm.time()
currSample = testSeriesSmall.sample(n=sampleSize).values
print('sample %d from %d values: %.5f s' % (sampleSize, len(testSeriesSmall), (tm.time() - tStart)))

sampleSize = 1000
tStart = tm.time()
currSample = testSeriesLarge.sample(n=sampleSize).values
print('sample %d from %d values: %.5f s' % (sampleSize, len(testSeriesLarge), (tm.time() - tStart)))

tStart = tm.time()
currSample = testSeriesSmall.sample(n=sampleSize).values
print('sample %d from %d values: %.5f s' % (sampleSize, len(testSeriesSmall), (tm.time() - tStart)))

输出为：

^{pr2}$

这似乎违反直觉。也许我是稠密的，但问题似乎类似于生成一个随机索引的列表，我本以为采样值的数量和数据集的大小无关紧要。我已经尝试了一两个类似的实现，但是现在开始觉得我忽略了一个基本问题。在

我的问题有两个：（1）这是一个根本问题还是熊猫实施的一个怪癖？（2） 有没有一种更快速的方法可以用这种方法从大数据集中随机抽取样本？在

Answer 1

这似乎是一个内部纽姆问题。我相信pandas sample方法调用numpy.random.choice。让我们看看numpy如何在不同的数组大小和样本大小下执行。在

创建数组

large = np.arange(1000000)
small = np.arange(1000)

在不更换样品的情况下计时

^{pr2}$

更换样品计时

%timeit np.random.choice(large, 10, replace=True)
100000 loops, best of 3: 11.7 µs per loop

%timeit np.random.choice(small, 10, replace=True)
100000 loops, best of 3: 12.2 µs per loop

非常有趣的是，在不进行替换的情况下，大阵列需要的时间要长近3个数量级，而它的大小正好是3个数量级。这意味着numpy随机地对数组排序，然后取前10项。在

使用替换进行采样时，每个值都是独立选择的，因此计时是相同的。在