使用Python从MySQL数据库表读取SparkSQL

Question

我在MySQL中有一个“user”表。我想把它读给我的Spark SQL程序。如何使用Python从MySQL读取表到Apache Spark的SparkSQL模块？是否有可用于此任务的连接器？ 谢谢。

Answer 1

有一个similar question answered。像这样开始pyspark

./bin/pyspark --packages mysql:mysql-connector-java:5.1.38

那就跑吧

sqlContext.read.format("jdbc").options(
url ="jdbc:mysql://localhost/mysql",
driver="com.mysql.jdbc.Driver",
dbtable="user",
user="root",
password=""
).load().take(10) 

这很可能是可行的。但这取决于mysql的设置，所以如果它不尝试更改密码、用户名、db url和其他设置。