在运行pyspark3 jupyter kern时在本地使用python3

Question

在jupyter中运行pyspark3内核时，有人知道如何更改在%%localspark魔法中调用的python的特定实例吗？在

当运行sparkmagic附带的PySpark3内核时，我经常希望将数据拉到本地机器上并在那里进行一些计算。在

但是，%local magic似乎只能使用根系统python，而不能使用python3或虚拟env。在

这是我的内核.json公司名称：

{
"argv":["python","-m","sparkmagic.kernels.pyspark3kernel.pyspark3kernel", 
"-f", "{connection_file}"],
"display_name":"PySpark3"
}

我的个人资料中已经有export PYSPARK_PYTHON=python3。 我还尝试过调整kernel.json，将python参数替换为python3，/usr/bin/python3，以及虚拟环境的路径