JLPube
jlpipe的Python项目详细描述
jlpipe
简介
项目负责人：杨杰dev@yjmade.net
安装
pip install jlpipe
用法
完整命令列表：
- dynamojson：将json从dynamodb格式转换为普通格式
- jsonkey：返回每行的json键
- jsonalkeys：显示json行键的统计信息
- json select：从json中选择字段
- json2csv：将json转换为csv
- json2pgtext：将json转换为postgres纯文本，然后可以使用pgcopy导入数据库
- parquet2json：将拼花文件转换为json格式
- jsondecompress：解压缩gzip压缩字段
- arrayunpack：类似于postgres unnest，unnest数组到行
- pgcopy：与pgfutter类似，但它使用纯文本进行复制
- 并行分割：类似于
parallel --pipe，提前启动多个工作进程，循环每条输入行和到每个工作进程的路由，然后forword工作进程输出到其stdout，而不是garentee顺序。
$ cat *.json|parallel_split dynamojson|jsonselect data=. patent_id description=patent_description|jsondecompress description|json2pgtext -a|pgcopg all_patent $ cat *.json|jsonallkeys -l 10000 -r >/dev/null $ ls *.parquet|parquet2json|json2pgtext|pgcopg all_patent
更多用法请参考命令帮助文本
command --help
欢迎加入QQ群-->： 979659372
