运行一个python脚本,该脚本登录到sparkec2集群,然后运行一个脚本。

2024-09-25 10:29:03 发布

您现在位置:Python中文网/ 问答频道 /正文

有没有关于运行一个可以登录到spark集群并运行脚本的文档?我已经能够用linuxbash脚本启动集群,但是我想知道是否还有更通用的(python会更好)。我想有一个脚本,读取某些参数,然后运行它们自动无需用户登录。我希望这是尽可能简单和直观(这样一些不太懂技术的人就可以启动脚本,而不必担心如何处理spark或AWS),或者能够在web应用程序的后台运行。你知道吗


Tags: 用户文档脚本awsweb应用程序参数集群