<p><strong>火花2.2+</strong></p>
<p>Spark 2.2引入了<code>typedLit</code>来支持<code>Seq</code>、<code>Map</code>和<code>Tuples</code>(<a href="https://issues.apache.org/jira/browse/SPARK-19254" rel="noreferrer">SPARK-19254</a>),应该支持以下调用(Scala):</p>
<pre class="lang-scala prettyprint-override"><code>import org.apache.spark.sql.functions.typedLit
df.withColumn("some_array", typedLit(Seq(1, 2, 3)))
df.withColumn("some_struct", typedLit(("foo", 1, .0.3)))
df.withColumn("some_map", typedLit(Map("key1" -> 1, "key2" -> 2)))
</code></pre>
<p><strong>火花1.3+</strong>(<code>lit</code>)、<strong>1.4+</strong>(<code>array</code>、<code>struct</code>)、<strong>2.0+</strong>(<code>map</code>):</p>
<p><code>DataFrame.withColumn</code>的第二个参数应该是<code>Column</code>,因此必须使用文本:</p>
<pre><code>from pyspark.sql.functions import lit
df.withColumn('new_column', lit(10))
</code></pre>
<p>如果需要复杂的列,可以使用诸如<code>array</code>这样的块来构建这些列:</p>
<pre><code>from pyspark.sql.functions import array, create_map, struct
df.withColumn("some_array", array(lit(1), lit(2), lit(3)))
df.withColumn("some_struct", struct(lit("foo"), lit(1), lit(.3)))
df.withColumn("some_map", create_map(lit("key1"), lit(1), lit("key2"), lit(2)))
</code></pre>
<p>Scala中可以使用完全相同的方法。</p>
<pre><code>import org.apache.spark.sql.functions.{array, lit, map, struct}
df.withColumn("new_column", lit(10))
df.withColumn("map", map(lit("key1"), lit(1), lit("key2"), lit(2)))
</code></pre>
<p>要为<code>structs</code>提供名称,请在每个字段上使用<code>alias</code>:</p>
<pre><code>df.withColumn(
"some_struct",
struct(lit("foo").alias("x"), lit(1).alias("y"), lit(0.3).alias("z"))
)
</code></pre>
<p>或者对整个对象<code>cast</code></p>
<pre><code>df.withColumn(
"some_struct",
struct(lit("foo"), lit(1), lit(0.3)).cast("struct<x: string, y: integer, z: double>")
)
</code></pre>
<p>也可以使用UDF,尽管速度较慢。</p>
<p><strong>注意:</p>
<p>可以使用相同的构造将常量参数传递给udf或SQL函数。</p>