使用C#生成PySpark语句的最佳实践?

2024-09-29 22:46:30 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在写一篇文章ASP.Net在某个时刻将与apachespark集群通信的webapi。你知道吗

通信是使用spark集群上的Livy服务器建立的,它公开了restapi接口和我编写的HTTP客户机。你知道吗

在我的业务逻辑中,我需要定义将作为作业提交给spark的操作。 现在我创建一个Livy-PySpark会话并提交PySpark代码。你知道吗

PySpark代码是由我的webapi的逻辑生成的。 作为代码生成的一个例子,如果我想导入python模块,我可以这样做:

string pythonImportTemplate = "from {0} import {1}";
statements.Add(string.format(pythonImportTemplate, param1, param2));
/*** Post Statements To Spark ***/

这在我看来是非常错误和重复的。你知道吗

我的问题是:有没有什么健壮的方法(或设计模式)来生成这样的代码字符串,以最小化解释器(Livy)语法错误的概率?你知道吗


Tags: 代码服务器stringnet文章集群逻辑spark

热门问题