找到合适的截止值

Question

我尝试实现Hampel tanh estimators来规范化高度不对称的数据。为此，我需要执行以下计算：

给定x-一个经过排序的数字列表和m的x的中值，我需要找到a，这样x中大约70%的值都在(m-a; m+a)范围内。我们对x中的值分布一无所知。我使用numpy编写python，我的最佳想法是编写某种随机迭代搜索（例如，如Solis and Wets所述），但我怀疑有更好的方法，无论是以更好的算法形式还是作为就绪函数。我搜索了numpy和scipy的文档，但是没有找到任何有用的提示。在

编辑

Sethsuggested使用scipy.stats.mstats.trimbboth，但是在我的偏态分布测试中，这个建议不起作用：

from scipy.stats.mstats import trimboth
import numpy as np

theList = np.log10(1+np.arange(.1, 100))
theMedian = np.median(theList)

trimmedList = trimboth(theList, proportiontocut=0.15)
a = (trimmedList.max() - trimmedList.min()) * 0.5

#check how many elements fall into the range
sel = (theList > (theMedian - a)) * (theList < (theMedian + a))

print np.sum(sel) / float(len(theList))

输出为0.79（~80%，而不是70）

Answer 1

首先需要将所有小于平均值的值向右折叠，使分布对称化。然后您可以在此单面分布上使用标准scipy.stats函数：

from scipy.stats import scoreatpercentile
import numpy as np

theList = np.log10(1+np.arange(.1, 100))
theMedian = np.median(theList)

oneSidedList = theList[:]               # copy original list
# fold over to the right all values left of the median
oneSidedList[theList < theMedian] = 2*theMedian - theList[theList < theMedian]

# find the 70th centile of the one-sided distribution
a = scoreatpercentile(oneSidedList, 70) - theMedian

#check how many elements fall into the range
sel = (theList > (theMedian - a)) * (theList < (theMedian + a))

print np.sum(sel) / float(len(theList))

这将根据需要给出0.7的结果。在