从python中的multiindex dataframe中获取索引号

Question

关于如何从pandas dataframe中获取最后一个索引值似乎有很多答案，但是我要得到的是多索引数据帧中0级每个索引最后一行的索引位置号。我找到了一种使用循环的方法，但是数据帧是数百万行的，这个循环很慢。我想有一种更像Python的方式来做这件事。在

下面是df3的一个小例子。我想在df>；最后一行转换为新股之前，获取索引中数字的列表（或数组）。索引列就是我想要的结果。这是测向仪的索引位置

Stock   Date      Index 
AAPL    12/31/2004  
        1/3/2005    
        1/4/2005    
        1/5/2005    
        1/6/2005    
        1/7/2005    
        1/10/2005   3475
AMZN    12/31/2004  
        1/3/2005    
        1/4/2005    
        1/5/2005    
        1/6/2005    
        1/7/2005    
        1/10/2005   6951
BAC     12/31/2004  
        1/3/2005    
        1/4/2005    
        1/5/2005    
        1/6/2005    
        1/7/2005    
       1/10/2005    10427

这是我使用的代码，其中df3在数据帧中

^{pr2}$

Answer 1

dict.values

使用dict来跟踪值，将最后找到的值保留为重要值。在

list(dict(map(reversed, enumerate(df.index.get_level_values(0)))).values())

[2, 4, 5]

---

带循环

创建接受因子分解和唯一值数的函数

^{pr2}$

然后可以用

f, u = pd.factorize(df.index.get_level_values(0))
last(f, len(u))

array([2, 4, 5])

然而，通常构造MultiIndex的方式，labels对象已经是因式分解，levels对象是唯一值。在

last(df.index.labels[0], df.index.levels[0].size)

array([2, 4, 5])

更重要的是，我们可以使用Numba来使用即时编译来超级充电。在

from numba import njit

@njit
def nlast(bins, k):
    a = np.zeros(k, np.int64)
    for i, b in enumerate(bins):
        a[b] = i
    return a

nlast(df.index.labels[0], df.index.levels[0].size)

array([2, 4, 5])

---

时机

%%timeit
f, u = pd.factorize(df.index.get_level_values(0))
last(f, len(u))

641 µs ± 9.4 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

---

%%timeit
f, u = pd.factorize(df.index.get_level_values(0))
nlast(f, len(u))

264 µs ± 11.1 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

---

%%timeit
nlast(df.index.labels[0], len(df.index.levels[0]))

4.06 µs ± 43.6 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

---

%%timeit
last(df.index.labels[0], len(df.index.levels[0]))

654 µs ± 14.2 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

---

%%timeit
list(dict(map(reversed, enumerate(df.index.get_level_values(0)))).values())

709 µs ± 4.94 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

---

耶斯雷尔的解决方案。也很快。在

%timeit start_stop_arr(df.index.get_level_values(0))

113 µs ± 83.1 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)

---

np.unique

我没有计时是因为我不喜欢。见下文：

使用np.unique和return_index参数。这将返回找到每个唯一值的第一个位置。在这之后，我会做一些移动，以得到先前唯一值的最后一个位置。在

注意：如果这个级别中的值是连续的。如果他们没有，我们就不得不做排序和取消排序，这是不值得的。除非是真的，否则我会教你怎么做。在

i = np.unique(df.index.get_level_values(0), return_index=True)[1]
np.append(i[1:], len(df)) - 1

array([2, 4, 5])

---

设置

来自@jezrael

df = pd.DataFrame({'A':list('abcdef'),
                   'B':[4,5,4,5,5,4],
                   'C':[7,8,9,4,2,3],
                   'D':[1,3,5,7,1,0],
                   'E':[5,3,6,9,2,4],
                   'F':list('aaabbc')}).set_index(['F','A','B'])

Answer 2

对于MultiIndex的第一级索引，我用^{}对divakar answer稍加修改：

df = pd.DataFrame({'A':list('abcdef'),
                   'B':[4,5,4,5,5,4],
                   'C':[7,8,9,4,2,3],
                   'D':[1,3,5,7,1,0],
                   'E':[5,3,6,9,2,4],
                   'F':list('aaabbc')}).set_index(['F','A','B'])

print (df)
       C  D  E
F A B         
a a 4  7  1  5
  b 5  8  3  3
  c 4  9  5  6
b d 5  4  7  9
  e 5  2  1  2
c f 4  3  0  4

def start_stop_arr(initial_list):
    a = np.asarray(initial_list)
    mask = np.concatenate(([True], a[1:] != a[:-1], [True]))
    idx = np.flatnonzero(mask)
    stop = idx[1:]-1
    return stop

print (df.index.get_level_values(0))
Index(['a', 'a', 'a', 'b', 'b', 'c'], dtype='object', name='F')

print (start_stop_arr(df.index.get_level_values(0)))
[2 4 5]