找不到适用于Python 3.7的pyspark Docker映像

Question

我正在寻找一个Docker图像来测试Circle CI中的一些pyspark代码。我们的ETL目前使用python 3.7和pyspark版本3.1.2

我一直在尝试使用Spark和Python 3.7来寻找Docker图像，但没有成功

当我查看docker hubhere时，我也没有找到图像

Answer 1

您可以使用python 3.7和pyspark版本3.1.2轻松构建自己的Docker

1. 创建Dockerfile

#cat Dockerfile                                   
FROM python:3.7

RUN pip3 install pyspark==3.1.2

1. 然后建立一个形象（用你自己的信条代替）：

docker build  -t krasnosvar/pyspark:3.1.2 .