java Spark SQL模拟红移（Oracle）“系统日期”或“当前日期”

Question

Spark SQL中是否支持任何日期函数来获取当前日期

Answer 1

当前_date（）在Spark 1.5上适用于我

用法示例：

sqlContext.sql("SELECT current_date() as today FROM eventsAvro").first

产出：

res360: org.apache.spark.sql.Row = [2016-01-29]

Answer 2

我用org.apache.spark.sql.hive.HiveContext代替org.apache.spark.sql.SQLContext找到了问题的答案。现在，以下代码按预期工作：

lazy val sc = ... // create Spak Context
lazy val hc = new HiveContext(sc)
val results = hc.sql("SELECT record_name as name FROM test_table WHERE day < current_date")
results.take(10)
  .map(r => s"name: ${r.getAs("name")}")
  .foreach(println)