火花fi上的pickle错误

Question

当我使用引用一个对象的闭包过滤RDD时，我得到一个pickle错误。在

没有对象：

>>> a
MapPartitionsRDD[369] at mapPartitions at SerDeUtil.scala:143
>>> b = a.filter(lambda row: row.foo == 1)
>>> b
PythonRDD[374] at RDD at PythonRDD.scala:43

对于对象：

^{pr2}$

我做错什么了？在

Answer 1

z还包含哪些字段？序列化闭包时，传递的是对象，而不仅仅是要访问的字段。如果任何其他字段引用不可序列化的实体（例如：Spark Context object），您将得到一个序列化错误。在