擅长:python、mysql、java
<p>一般来说,您需要尽可能少的python操作。你知道吗</p>
<p>我将您的代码缩减为一个<code>map</code>和一个<code>reduce</code>。你知道吗</p>
<pre><code>import operator
delay_sum = datasplit\
.map(lambda x: (x[8]+x[9], float(x[33]) if any(x[33]) else 0.0))\
.reduceByKey(operator.add)
</code></pre>
<p>不用说,当使用spark数据帧时,这类操作通常运行得更快。你知道吗</p>