用于任何数据源的基于python的scraper。
pyetl-framework的Python项目详细描述
#pyetl框架
用于构建和运行etl管道的基于烧瓶的框架
创建一个新的python项目，然后“pip install pyetl framework”。
要运行app flask应用程序前端：`pyetl flask`
要运行工作进程：`pyetl flask worker`
app_basedir=$（pwd）必须指向包含配置文件的目录。还需要配置文件。请参见“config.py.example”。
` pipe.start（）`应该执行任何必要的操作，确定并将必须执行的任何和所有“etljob”排队，以便认为运行成功。
\etljob
框架中定义的基类。它有三种方法：提取、转换、加载。
etljob将在执行时运行{transformer extractor loader}.execute（）'。
要开始使用，请点击[此处]（https://realpython.com/blog/python/flask-by-example-part-1-project-setup）。
once
then:`pip install-r requirements.txt`
这不应该在这里。
git remote add heroku staging git@heroku.com:pyscrap staging.git
git remote add heroku production git@heroku.com:pyscrap production.git
或
`make deploy`
release
首先，创建一个新的pip包。这将碰撞修补程序版本并将其写入“version”。
“make package”
然后，将包推送到存储库：
“make release”`
用于构建和运行etl管道的基于烧瓶的框架
创建一个新的python项目，然后“pip install pyetl framework”。
要运行app flask应用程序前端：`pyetl flask`
要运行工作进程：`pyetl flask worker`
app_basedir=$（pwd）必须指向包含配置文件的目录。还需要配置文件。请参见“config.py.example”。
` pipe.start（）`应该执行任何必要的操作，确定并将必须执行的任何和所有“etljob”排队，以便认为运行成功。
\etljob
框架中定义的基类。它有三种方法：提取、转换、加载。
etljob将在执行时运行{transformer extractor loader}.execute（）'。
要开始使用，请点击[此处]（https://realpython.com/blog/python/flask-by-example-part-1-project-setup）。
once
then:`pip install-r requirements.txt`
这不应该在这里。
git remote add heroku staging git@heroku.com:pyscrap staging.git
git remote add heroku production git@heroku.com:pyscrap production.git
或
`make deploy`
release
首先，创建一个新的pip包。这将碰撞修补程序版本并将其写入“version”。
“make package”
然后，将包推送到存储库：
“make release”`
欢迎加入QQ群-->： 979659372
