基于流的unix类cat功能,用于s3上的文件。还支持gzip、bzip和xz压缩文件

s3streamcat的Python项目详细描述


s3 stream cat使您能够立即检查s3文件的内容。 特别是它支持从压缩文件流式传输和打印数据。

支持压缩格式

  • gzip
  • xz
  • bzip

当你不想下载文件时,你可能会发现它非常有用 但是,要检查样本数据,或要grep以查找匹配的少数记录 一定要搜查。 典型用法通常如下:

s3streamcat s3://bucketname/dir/file_path
s3streamcat s3://bucketname/dir/file_path | more
s3streamcat s3://bucketname/dir/file_path | grep something

在UTF-8无法解码流时尝试不同的编码:

s3streamcat -e latin-1 s3://bucketname/dir/file_path.gz

调整一次要获取的字节数:

s3streamcat -b 1024 s3://bucketname/dir/file_path.gz

配置

如果您的系统上安装了aws客户机,s3streamcat就可以工作,开箱即用 否则,您将不得不在位置HOME/.aws/credentials使用aws cred拥有文件:

[default]
aws_access_key_id=<put your aws access key>
aws_secret_access_key=<put your aws secret key>

依赖性

  • 它是为python3而写的,python3是语言的现在和未来
  • libssl-devlibffi-dev
  • python3-dev

ubuntu用户可以使用以下命令安装依赖包:

  • sudo apt-get install -ylibssl-devlibffi-dev
  • sudo apt-get install python3-dev

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java从8位二进制到十六进制的转换   Java流API映射参数   java Dropwizard从POST方法更新视图   java如何制作onetoone映射playframework   java中的Eclipse代码检查样式缩进模块?   java Maven无法正确安装   java将此关键字作为参数传递   java Mandelbrot设置了错误的形状   Java中的哈希表内存使用   安卓 java:如何在两个微调器之间切换按钮并获取微调器的文本?   java从其他位置(数据库、http…)加载JSF facelets文件(模板、视图)   java Spring休眠悲观锁定   通过rest和html作为客户端上传java文件