从github搜索和获取代码的工具
bigcode-astgen的Python项目详细描述
#大代码astgen py
以与[150k python dataset][1]兼容的格式生成python文件ast。
代码主要是从[150k python dataset][1]中复制的，并且适合于使用python 3。
注意，这个工具只能解析它运行的python版本， 因为它在内部使用pythonast模块，该模块使用当前的python解析器。
##安装
可以通过运行来安装此工具
` pip install bigcode-astgen `
或者获取此存储库并运行
` cd ast-generators/python pip install . `
##cli用法
` bigcode-astgen-py-o <output> <input> `
<；input>；应该是一个文件，或者是一个全局表达式。
###正常模式
在正常模式下，<；input>；被解释为文件名和生成的ast 在<；output>；中输出，否则打印到stdout。
###批处理模式
在批处理模式下，<；input>；被解释为glob和所有匹配的文件 被解析。<；output>；是一个前缀，<；output>；.json，<；output>；.txt和 <；output>；\u failed.txt将创建文件。
- <；output>；.json-每行包含一个json格式的ast
- <；output>；.txt-每行包含一个文件名，顺序与<；output>；.json
- <；output>；_failed.txt-每行包含一个文件名，并说明无法解析该文件名的原因
###示例
####正常模式
` bigcode-astgen-py bigcode_astgen/normalizer.py `
解析bigcode_astgen/normalizer.py并将结果输出到stdout。
####批处理模式
` bigcode-astgen-py--batch-o result/asts "src/**/*.py" `
解析src目录中的所有.py文件，并在result目录中输出结果 前缀为asts。
##python api
###bigcode\u astgen.ast\u generator.parse\u字符串
返回给定字符串的ast节点
参数：
- 内容：包含Python程序的字符串
###bigcode_astgen.ast_generator.parse_文件
返回给定文件的ast节点
参数：
- 文件名：包含python程序的文件的路径
###bigcode_astgen.ast_bulk_processor.process_文件
处理与文件模式匹配的所有文件，并将结果输出到输出目录中
参数： ##许可证 我找不到[150k python dataset][1]源代码的许可证，从中
复制bigcode_astgen/ast_generator.py。
因此，在进一步通知之前，此项目不会像存储库的其余部分一样遵循mit许可证。 [1]：http://www.srl.inf.ethz.ch/py150.php 欢迎加入QQ群-->： 979659372
推荐PyPI第三方库