PySpark使用共享相同值的两个密钥创建pair RDD

Question

我有一个键-值对RDD，其中键是一个演员，值是这个演员参与的电影，形式是：

["actor 1", "movie 1"]
["actor 1", "movie 2"]
["actor 1", "movie 3"]
...
["actor n", "movie 2"] 

我想把它映射到另一个键值对RDD中，每一对都由两个演员组成，他们参与一个共同的电影。在

在上面的例子中，这意味着新的RDD将包含一对["actor 1", "actor n"]，因为它们都参与{}。在

Answer 1

一个简单的交换和连接就可以做到这一点。首先，让我们创建一些虚拟数据和一个小的helper函数：

actor_movie = sc.parallelize([
    ("actor 1", "movie 1"),
    ("actor 1", "movie 3"),
    ("actor 1", "movie 3"),
    ("actor n", "movie 2")
])

swap = lambda x: (x[1], x[0])

接下来交换订单：

^{pr2}$

加入：

(movie_actor
    .join(movie_actor) # Join by movie
    .values() # Extract values (actors)
    .filter(lambda x: x[0] != x[1]))