计算具有相同“标识符”的数组中元素的平均值

Question

我有一个如下形式的numpy数组：

['viola.jpg' '0.81' '1.0693461723' '100']
['viola.jpg' '0.44' '1.31469086921' '18']
['viola.jpg' '0.8' '3.92096084523' '73']
['vlasta.jpg' '0.88' '1.36559123399' '110']
['vlasta.jpg' '0.88' '1.88126493001' '45']
['vlasta.jpg' '0.76' '1.0510328514' '88']

我想为第0列中的每个新标识符平均第1列和第2列中的值。从上面我想得到一些东西，比如：

^{pr2}$

（最后一列与此完全无关，它可以是数字的平均值，也可以是其中的一个随机值，也可以完全忽略不计）

我曾经尝试过这样做，但是失败了，因为reduceat不喜欢灵活的类型（上面的数组是“pics”）

pics = pics[pics[:,0].argsort()]
print pics
last = pics[:,0]
w = np.where(last[:-1] != last[1:])[0] + 1
w = np.concatenate(([0], w, [len(pics)])) #add 0 and last value
print type(pics), type(w)
means = np.add.reduceat(pics, w[:-1])/np.diff(w)[:,None]

Answer 1

您可以使用熊猫快速完成此操作：

import pandas as pd

data=[['viola.jpg', '0.81', '1.0693461723', '100'],
['viola.jpg', '0.44', '1.31469086921', '18'],
['viola.jpg', '0.8', '3.92096084523', '73'],
['vlasta.jpg', '0.88', '1.36559123399', '110'],
['vlasta.jpg', '0.88', '1.88126493001', '45'],
['vlasta.jpg', '0.76', '1.0510328514', '88']]

df = pd.DataFrame(data, dtype=float)
print df.groupby(0).mean()

结果：

^{pr2}$

Answer 2

我不知道您是从哪里得到这个字符串列表的，但是如果它来自一个文件，请使用genfromtxt从中获得一个漂亮的numpy数组，其类型正确：

import numpy as np
from StringIO import StringIO   # to create example file
s = """ viola.jpg  0.81 1.0693461723  100
        viola.jpg  0.44 1.31469086921  18
        viola.jpg  0.8  3.92096084523  73
        vlasta.jpg 0.88 1.36559123399 110
        vlasta.jpg 0.88 1.88126493001  45
        vlasta.jpg 0.76 1.0510328514   88"""
f = StringIO(s) # creates example file with content above
a = np.genfromtxt(f, names = "image, someval, another, someid", dtype=['S12', float, float, int])

现在，a是一个结构化数组。您可以使用field名称访问列：

^{pr2}$

：（也许没那么好。。。很抱歉夸大其词。但是，向您介绍结构化数组是值得的。现在，看看b：

In [3]: b
Out[3]: 
array([('viola.jpg', 0.6833333333333332, 2.101665962246667, 63),
       ('vlasta.jpg', 0.84, 1.4326296718, 81)], 
      dtype=[('image', '|S12'), ('someval', '<f8'), ('another', '<f8'), ('someid', '<i8')])

In [4]: b['image']
Out[4]: 
array(['viola.jpg', 'vlasta.jpg'], 
      dtype='|S12')

In [5]: b['someval']
Out[5]: array([ 0.68333333,  0.84      ])

In [6]: b[1]
Out[6]: ('vlasta.jpg', 0.84, 1.4326296718, 81)

In [7]: b[b['image']=='viola.jpg']
Out[7]: 
array([('viola.jpg', 0.6833333333333332, 2.101665962246667, 63)], 
      dtype=[('image', '|S12'), ('someval', '<f8'), ('another', '<f8'), ('someid', '<i8')])

根据你在问题中的出发点，你可以这样做：

a = np.array([['viola.jpg', '0.81', '1.0693461723', '100'],
              ['viola.jpg', '0.44', '1.3146908692', '18'],
              ['viola.jpg', '0.8', '3.9209608452', '73'],
              ['vlasta.jpg', '0.88', '1.3655912339', '110'],
              ['vlasta.jpg', '0.88', '1.8812649300', '45'],
              ['vlasta.jpg', '0.76', '1.0510328514', '88']])

uniques = np.uniques(a[:,0])
b = np.empty((len(uniques), len(a[0])), dtype = 'S12')

for i,s in enumerate(uniques):
    m = a[:,0] == s
    b[i] = [s] + [a[m,j].astype(float).mean() for j in [1,2]] + [int(a[m,3].astype(float).mean())]
print b
#[['viola.jpg' '0.6833333333' '2.1016659622' '64']
# ['vlasta.jpg' '0.84' '1.4326296717' '81']]

如果使用更好的数据结构，那么跟踪float、int、和{}的数据结构就容易得多。如需证明，请参阅@HYRY的答案。在