基于流的unix类cat功能,用于s3上的文件。还支持gzip、bzip和xz压缩文件
s3streamcat的Python项目详细描述
s3 stream cat使您能够立即检查s3文件的内容。 特别是它支持从压缩文件流式传输和打印数据。
支持压缩格式
- gzip
- xz
- bzip
当你不想下载文件时,你可能会发现它非常有用 但是,要检查样本数据,或要grep以查找匹配的少数记录 一定要搜查。 典型用法通常如下:
s3streamcat s3://bucketname/dir/file_path s3streamcat s3://bucketname/dir/file_path | more s3streamcat s3://bucketname/dir/file_path | grep something
在UTF-8无法解码流时尝试不同的编码:
s3streamcat -e latin-1 s3://bucketname/dir/file_path.gz
调整一次要获取的字节数:
s3streamcat -b 1024 s3://bucketname/dir/file_path.gz
配置
如果您的系统上安装了aws客户机,s3streamcat就可以工作,开箱即用 否则,您将不得不在位置HOME/.aws/credentials使用aws cred拥有文件:
[default] aws_access_key_id=<put your aws access key> aws_secret_access_key=<put your aws secret key>
依赖性
- 它是为python3而写的,python3是语言的现在和未来
- libssl-devlibffi-dev
- python3-dev
ubuntu用户可以使用以下命令安装依赖包:
- sudo apt-get install -ylibssl-devlibffi-dev
- sudo apt-get install python3-dev