如何使用python复制和提取.gz文件

Question

我刚开始学python，有一个问题。

如何创建脚本来执行以下操作：（将在bash中编写我的脚本）

1. 将<file>.gz从远程服务器1复制到本地存储。

   cp /dumps/server1/file1.gz /local/

2. 然后在本地提取该文件。

   gunzip /local/file1.gz

3. 然后将提取文件复制到远程服务器2（用于存档和重复数据消除）

   cp /local/file1.dump /dedupmount

4. 删除.gz文件的本地副本以释放“临时”存储空间

   rm -rf /local/file1.gz

我需要对所有文件进行循环运行。 所有文件和目录都安装在同一服务器上的NFS。

for循环遍历/dump/文件夹并查找.gz文件。 每个.gz文件将首先复制到/local目录，然后在那里提取。 解压缩后的.dmp文件将复制到/dedupmount文件夹中存档。

只是把头撞在墙上怎么写。

Answer 1

您可以使用urlopen模块

import urllib
#urlretrieve will save the file to local drive
urllib.urlretrieve(url,file_name_to_save)

现在您可以使用gunzip utitlty来提取，使用os.system

Answer 2

Python解决方案

虽然shell代码可能更短，但整个过程可以在python中以本机方式完成。python解决方案的关键点是：

• 使用gzip模块，gzip文件和普通文件一样容易读取。

• 要获取源文件列表，使用glob模块。它是根据shell glob特性建模的。

• 要操作路径，请使用pythonos.path模块。它为文件系统提供了一个与操作系统无关的接口。

下面是示例代码：

import gzip
import glob
import os.path
source_dir = "/dumps/server1"
dest_dir = "/dedupmount"

for src_name in glob.glob(os.path.join(source_dir, '*.gz')):
    base = os.path.basename(src_name)
    dest_name = os.path.join(dest_dir, base[:-3])
    with gzip.open(src_name, 'rb') as infile:
        with open(dest_name, 'wb') as outfile:
            for line in infile:
                outfile.write(line)

此代码从remote1服务器读取并写入remote2服务器。这不需要本地副本，除非您需要。

在这段代码中，所有解压都是由本地计算机上的CPU完成的。

外壳代码

为了进行比较，下面是等效的shell代码：

for src in /dumps/server1/*.gz
do
    base=${src##*/}
    dest="/dedupmount/${base%.gz}"
    zcat "$src" >"$dest"
done

三步Python代码

这种稍微复杂一点的方法实现了OP的三步算法，该算法使用本地计算机上的临时文件：

import gzip
import glob
import os.path
import shutil

source_dir = "./dumps/server1"
dest_dir = "./dedupmount"
tmpfile = "/tmp/delete.me"

for src_name in glob.glob(os.path.join(source_dir, '*.gz')):
    base = os.path.basename(src_name)
    dest_name = os.path.join(dest_dir, base[:-3])
    shutil.copyfile(src_name, tmpfile)
    with gzip.open(tmpfile, 'rb') as infile:
        with open(dest_name, 'wb') as outfile:
            for line in infile:
                outfile.write(line)

这会将源文件复制到本地计算机上的一个临时文件tmpfile，然后将其从那里gunzips到目标文件。tmpfile将被此脚本的每次调用覆盖。

临时文件可能是一个安全问题。要避免这种情况，请将临时文件放在一个目录中，该目录只能由运行此脚本的用户写入。