如何使用python或shell比较hdfs位置中两个目录中的文件大小相同?

2024-09-29 07:27:55 发布

您现在位置:Python中文网/ 问答频道 /正文

我在hdfs中有两个目录。当我执行hadoop ls命令时

我的第一个目录:

 $hadoop fs -ls /data/
-rw-r--r--   3 test test   258055811 2020-03-06 10:45 /data/log.cat
-rw-r--r--   3 test test   253135376 2020-03-06 10:45 /data/log0.cat
 -rw-r--r--   3 test test   2531353 2020-03-06 10:45 /data/log1.cat

我的第二个目录:

   $hadoop fs -ls /data1/
    -rw-r--r--   3 test test   258055811 2020-03-06 10:45 /data1/log.cat
    -rw-r--r--   3 test test   253135376 2020-03-06 10:45 /data1/log0.cat
-rw-r--r--   3 test test   2531353 2020-03-06 10:45 /data1/log1.cat

现在我想比较两个目录中的文件大小是否相同,即数据和数据1中的文件大小相同


Tags: 数据test命令目录hadooplogdatahdfs