我需要在Spark集群的每个节点上安装考拉还是只在主节点上安装考拉？

Question

我从Spark+AI峰会上发现了Koalas，这次峰会把熊猫带到了Spark。你知道吗

据我所知，如果我需要map第三方函数到Spark DataFrame，我必须在Spark集群的每个节点上安装这个包。你知道吗

考拉也是这样吗？或者我只需要在我的主节点上运行pip install koalas，让考拉和Spark来处理其余的？你知道吗

除了pip install koalas之外，我还没有在考拉的Docs中找到任何细节。你知道吗

Answer 1

是的，您需要在集群的所有节点上安装考拉。通常，所有第三方库都需要安装在集群的所有节点上。你知道吗