Pandas：效率更高的.map（）函数还是方法？

Question

我使用的是一个相当大的数据集，大约有3700万个数据点，这些数据点按层次分为三类：country、productcode和year。country变量（即countryname）是一个相当混乱的数据，由代表“Austral”的“Austral”等项组成。我构建了一个简单的guess_country（），它将字母与单词进行匹配，并从已知的国家名称列表中返回最佳猜测和置信区间。考虑到数据的长度和层次结构的性质，将.map（）用于Series:country是非常低效的。[guess_country函数需要~2ms/请求]

我的问题是：有没有更高效的.map（）来获取序列并只对唯一值执行映射？（考虑到有很多重复的国家名称）

Answer 1

对唯一的国家名称调用guess_country()，并创建一个country_map系列对象，原始名称作为索引，转换后的名称作为值。然后可以使用country_map[df.country]进行转换。在

import pandas as pd
c = ["abc","abc","ade","ade","ccc","bdc","bxy","ccc","ccx","ccb","ccx"]
v = range(len(c))
df = pd.DataFrame({"country":c, "data":v})

def guess_country(c):
    return c[0]

uc = df.country.unique()
country_map = pd.Series(list(map(guess_country, uc)), index=uc)
df["country_id"] = country_map[df.country].values
print(df)