Python中文
首页
教程
问答
标签
搜索
登录
注册
作业调度的Python库,ssh
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我想找一个用户空间工具(最好是在Python中——除非这样,在任何我可以轻松修改的地方,如果它还没有做我需要它做的事情的话)来代替我一直使用的一个短脚本,它可以做以下两件事:</p> <ul> <li>调查不到100台计算机(Fedora13,确实如此)的负载、可用内存,如果看起来有人在使用它们</li> <li>为作业选择好的主机,通过ssh运行这些作业。这些作业是任意命令行程序的执行,这些程序读写共享文件系统(通常是图像处理脚本或类似的cpu),有时是内存密集型任务。</li> </ul> <p>例如,使用当前脚本,我可以在python提示符下</p> <pre><code>>>> import hosts >>> hosts.run_commands(['users']*5) </code></pre> <p>或者从命令行</p> <pre><code>% hosts.py "users" "users" "users" "users" "users" </code></pre> <p>运行命令<code>users</code>5次(通过从配置文件中检查至少5台计算机上的cpu负载和可用内存,找到可以运行该命令的5台计算机之后)。除了我刚刚运行的脚本之外,不应该有任何作业服务器,也不应该有将运行这些命令的计算机上的工作守护进程或进程。</p> <p>此外,我还希望能够跟踪作业、在失败时再次运行作业等,但这些是我实际上不需要的额外功能(在真正的作业调度程序中非常标准)。</p> <p>我已经为Python找到了很好的ssh库,比如<a href="http://pypi.python.org/pypi/classh/0.093">classh</a>和<a href="http://pypi.python.org/pypi/PuSSH/1.05">PuSSH</a>,它们没有我想要的(非常简单的)负载平衡特性。另一方面,我想要的是秃鹰或泥泞,正如我澄清之前crispamares建议的那样,我想要更轻的东西。这些都是以正确的方式做的事情,但是从阅读它们的内容来看,它们听起来像是只有在我需要它们的时候才在用户空间中旋转它们,这将是恼人到不可能的。这不是一个专用群集,而且我在这些主机上没有根访问权限。</p> <p>目前,我正计划在classh中使用一个包装器,当我需要知道如果找不到其他东西,它们有多忙时,可以对计算机进行一些基本的轮询。</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>你可以修改buildbot和twisted?这似乎是个好办法。</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
为什么我的神经网络模型的准确性不能在这个训练集上得到提高?
2 回答
为什么我的神经网络模型的权重变化不大?
7 回答
为什么我的神经网络的成本不断增加?
3 回答
为什么我的神经网络的输入pickle文件是19GB?
8 回答
为什么我的神经网络给属性错误?“非类型”对象没有属性“形状”
5 回答
为什么我的神经网络训练这么慢?
7 回答
为什么我的神经网络输出错误?
7 回答
为什么我的神经网络预测适用于MNIST手绘图像时是正确的,而适用于我自己的手绘图像时是不正确的?
9 回答
为什么我的神经网络验证精度比我的训练精度高,而且它们都是常数?
3 回答
为什么我的私人用户间聊天会显示在其他用户的聊天档案中?
10 回答
为什么我的积分的绝对误差估计值大于积分(使用scipy.integrate.nqad)?
1 回答
为什么我的积层回归器得分比它的组件差?
10 回答
为什么我的移动方法不起作用?
3 回答
为什么我的稀疏张量不能转换成张量
5 回答
为什么我的稀疏张量不能转换成张量?
7 回答
为什么我的程序“停止”了?
10 回答
为什么我的程序一直试图占用所有可用的CPU
4 回答
为什么我的程序不使用指定的代理
8 回答
为什么我的程序不工作(python帮助中的反向函数)?
7 回答
为什么我的程序不工作时,我使用多处理模块
2 回答