如何使用python设置hdfs目录qu

Question

我想用python设置hdfs dir配额。在

设置配额时，我们应该使用hadoop dfsadmin -setSpaceQuota $QUOTA $DIR

我发现了一个python库，名为pyhdfs（https://github.com/vbarter/pyhdfs），它可以控制许多hdfs操作，但没有配额操作。在

如果必须使用python创建dir：

fs = hadoop.HadoopDFS("username","password","ugi",64310)
print fs.getDefaultBlockSize()
fs.disconnect()

那么如何在hdfs中设置dir的配额呢？ 有没有类似的方法？在

泰铢

Answer 1

我不熟悉pyhdfs模块，但是如果它不能满足您的需要，您可以直接调用subshell。在

from subprocess import call
call(["hadoop dfsadmin", "-setSpaceQuota ugi 64310"])

这就是我喜欢在python脚本中进行hadoop类型管理的方式。它有它的缺点，但它能完成任务。在