我正在写一篇文章ASP.Net在某个时刻将与apachespark集群通信的webapi。你知道吗
通信是使用spark集群上的Livy服务器建立的,它公开了restapi接口和我编写的HTTP客户机。你知道吗
在我的业务逻辑中,我需要定义将作为作业提交给spark的操作。 现在我创建一个Livy-PySpark会话并提交PySpark代码。你知道吗
PySpark代码是由我的webapi的逻辑生成的。 作为代码生成的一个例子,如果我想导入python模块,我可以这样做:
string pythonImportTemplate = "from {0} import {1}";
statements.Add(string.format(pythonImportTemplate, param1, param2));
/*** Post Statements To Spark ***/
这在我看来是非常错误和重复的。你知道吗
我的问题是:有没有什么健壮的方法(或设计模式)来生成这样的代码字符串,以最小化解释器(Livy)语法错误的概率?你知道吗
目前没有回答
相关问题 更多 >
编程相关推荐