在AWS上启动Jupyter笔记本
aws-jupyter的Python项目详细描述
这个脚本在awsec2实例上启动一个集群，并在它们上启动一个Jupyter笔记本。在
有关所有受支持命令的详细信息，请阅读manual。
QuickStartGuide.md提供了一个指导性的示例来说明aws-jupyter可以做什么。在
aws-jupyter是一个命令行工具，但是您可以将它集成到
自定义Python脚本。module-doc.md提供了一个简单的操作方法。在
安装
很高兴你有python3。aws-jupyter可以使用pip安装：
pip install aws-jupyter
安装完成后，可以使用示例启动脚本进行尝试：
^{pr2}$它将创建一个包含2个spot实例的集群。在
此外，
我们使用位于us-west-2区域的AMI映像创建EC2实例。
所以请确保您的本地环境设置为使用该区域
（可以运行aws-jupyter config来验证设置）。在
安装后，请运行aws-jupyter config以确保配置设置正确。在
升级
如果我们更改了默认的AWS区域，请分3步升级aws-jupyter：
- 升级包：
pip install --upgrade aws-jupyter。在 - 在新的AWS区域中创建新的密钥对，并修改 相应的凭证文件（如下所示）。在
- 切换到默认的AMI和region:
aws-jupyter config --default-ami --default-region，并设置凭证文件 当系统提示时，到新的位置。在
AWS认证
此存储库中的脚本需要以下格式的credentials.yml文件：
Arbitrary Name:access_key_id:your_aws_access_key_idsecret_access_key:your_aws_secret_access_keykey_name:your_ec2_key_pair_namessh_key:/path/to/the/ec2/key/pair/file
Spark Notebook项目中的凭证文件可以在这里直接使用。在
凭证文件（或其软链接）应位于同一文件夹中，其中
您可以调用这些脚本（也就是说，您应该能够使用ls .命令看到它）。
凭证文件必须始终保持私有，并且不被共享。记住要添加
credential.yml到项目的.gitignore文件，这样
文件不会被推送到GitHub。在
使用
使用-h参数运行此目录中的任何脚本都将打印该脚本的帮助消息。在
创建新群集
aws-jupyter create使用基于Ubuntu的AMI在m3.xlarge实例上创建一个集群。在
如果实例附带SSD，它将被挂载到/mnt。在
示例：
aws-jupyter create -c 2 --name testing
检查群集是否就绪
aws-jupyter check检查群集是否已启动并正在运行。此外，它还创建了一个
neighbors.txt文件，其中包含集群中所有实例的IP地址。在
示例
aws-jupyter check --name testing
终止群集
aws-jupyter terminate通过停止和终止所有实例来终止集群
在这个群里。在
示例
aws-jupyter terminate --name testing
在集群上运行脚本
aws-jupyter run在集群中的所有实例上运行给定的脚本。
它在后台启动脚本，并重定向stdout/stderr
到实例上的一个文件中，以后可以检查。
因此，它终止并不一定意味着脚本已经在集群上执行完毕。
此外，它只在所有实例上启动脚本，但是not检查脚本是否
执行时没有错误。在
示例
aws-jupyter run --script ./script-examples/hello-world.sh
向远程实例发送本地目录
将本地目录发送到群集的所有实例。 例如，它可以用于将配置文件分发到所有实例。在
示例
aws-jupyter send-dir --local ./configs/ --remote ~/remote-configs
从群集中的所有实例中检索文件
从群集的所有实例的同一位置检索文件。 它可以用来从工人那里收集程序的输出。 应向该脚本提供用于保存下载文件的本地目录。 这个脚本将为每个worker创建一个单独的子目录并下载其文件 到这个子目录。在
示例
mkdir _result aws-jupyter retrieve --remote /tmp/std* --local ./_result/
在所有实例上安装包
在实例准备好之后，您可以安装任何丢失的包（即aws-jupyter check显示Jupyter笔记本的URL）通过以下步骤：
- 在本地计算机上创建脚本，以安装所需的软件包。例如，假设我们要安装
pandas
$ echo"pip install pandas" > install-pandas.sh
- 在所有实例上运行脚本
aws-jupyter run -s install-pandas.sh --output
--output参数确保脚本将在前台运行，以便您可以检查安装是否成功。在
- 项目
标签：
欢迎加入QQ群-->： 979659372
