擅长:python、mysql、java
<p>首先,您看到的所有错误通常意味着您尝试使用的类不可访问。所以很可能是一个<code>CLASSPATH</code>问题。在</p>
<p>关于总体思路,有两个重要问题:</p>
<ul>
<li>您不能在操作或转换中访问<code>SparkContext</code>,因此使用PySpark网关将无法工作(有关详细信息,请参见<a href="https://stackoverflow.com/questions/31684842/how-to-use-java-scala-function-from-an-action-or-a-transformation">How to use Java/Scala function from an action or a transformation?</a>))。如果您想从workers使用Py4J,那么必须在每个worker机器上启动一个单独的网关。在</li>
<li>你真的不想用这种方式在Python和JVM之间传递数据。Py4J不是为数据密集型任务而设计的。在</li>
</ul>