为云计算创建“环境”

Question

当我开始我的云数据流工作时，我首先导入我需要的库（用python）。例如：

google-cloud-bigquery==1.3.0
pysftp==0.2.9
google-cloud-storage==1.10.0
pandas==0.23.3
pandas-gbq==0.5.0
jaydebeapi==1.1.1
apache-beam==2.5.0
elasticsearch==6.0.0

每次这样做通常需要几分钟，每次使用云数据流时，我都使用相同的环境。有没有办法“保存”这个环境，这样当机器启动时它就已经“准备好”了？我看过“模板”，但只提到创建变量之类的，实际上没有在环境中安装库（或者至少我没有看到）。你知道吗

如果有人能给我举一个将库保存到环境中的例子，那就太好了，比如：

elasticsearch==6.0.0

Answer 1

据我所知，您的用例是通过某个服务器运行数据流作业的。你知道吗

在这种情况下，可以为PyPI依赖项指定库 requirements_file标志，或为非PyPI依赖项指定库setup.py。你有here一些例子和更多细节。你知道吗