擅长:python、mysql、java
<p>您需要在运行pyspark命令时设置spark内存配置:</p>
<pre><code>pyspark conf spark.driver.memory=50g conf spark.executor.pyspark.memory=50g
</code></pre>
<p>检查此<a href="https://spark.apache.org/docs/latest/configuration.html" rel="nofollow noreferrer">doc</a>以获取要设置的配置。在</p>
<p>您可能还需要根据硬件计算出所需的执行器数量。在</p>