使用多个条件将一列df中的字符串值检查到另一列df

Question

我有两个数据帧：

import pandas as pd

first_df = pd.DataFrame({'Full Name': ['Mulligan Nick & Mary', 'Tsang S C', 'Hattie J A C '],
                         'Address': ['270 Claude Road', '13 Sunnyridge Place', '18A Empire Road']})

second_df = pd.DataFrame({'Owner' : ['David James Mulligan', 'Brenda Joy Mulligan ', 'Helen Kwok Hattie'],
                          'Add Match': ['19 Dexter Avenue', 'Claude Road ', 'Building NO 512']})

是否只将Full Name列中的第一个字符串与Owner列中的最后一个字符串相匹配

如果存在匹配项，那么我想将Address与Add match进行比较，看看是否存在任何相似的值。如果第一个条件通过，但第二个条件失败，则不会将其添加到新数据帧中

使用左连接会导致：

new_df = first_df.merge(second_df, how='left', left_on = ['Full Name', 'Address'], right_on = ['Owner', 'Add Match'])
print(new_df.head())

              Full Name              Address Owner Add Match
0  Mulligan Nick & Mary      270 Claude Road   NaN       NaN
1             Tsang S C  13 Sunnyridge Place   NaN       NaN
2         Hattie J A C       18A Empire Road   NaN       NaN

但是，所需的输出看起来更像这样：

new_df

Name                 Address
----                 --------
Brenda Joy Mulligan  Claude Road

Answer 1

您可以利用Python标准库中的difflib模块来查找不同列之间的相似性。 例如，您可以定义以下函数：

from difflib import SequenceMatcher

def compare_df(left, right, col: str):
    left[f"{col}_match_ratio"] = 0

    for value in left[col]:
        best_ratio = 0
        for other in right[col]:
            result = SequenceMatcher(None, str(value), str(other)).ratio()
            if result > best_ratio:
                best_ratio = result
        left.loc[left[col] == value, f"{col}_match_ratio"] = round(best_ratio, 2)

然后：

• 您只需确保要比较的列在两个dfs中具有相同的名称
• 您可以调用df_compare（first_df，second_df，“Owner”），它将“Owner_match_ratio”列添加到second_df中
• 最后，根据所需的最小匹配率（例如70%）过滤第二个df，如下所示：new_df = second_df.loc[second_df["Owner_match_ratio"] > 0.7, :]