刮削雅虎页面的实用程序
yahooscraper的Python项目详细描述
用于抓取雅虎页面的python实用程序
yahooscraper包被组织成模块和子模块。每个 叶模块(即没有子模块的模块)包含 接受一个参数–页面的html文本由 模块及其命名空间–并返回从页面解析的一些数据
如果找不到数据,则返回None或者,如果 应该返回iterable,可以返回空iterable。
每个叶模块还包括一个url()函数,该函数返回 由模块表示的页的URL。如果模块 表示一组URL,此函数接受参数。
要从需要身份验证的页面获取数据,请首先获取 使用login模块的经过身份验证的会话 authenticated_session()方法函数。
使用pydoc查看更详细的api文档:
$ pydoc yahooscraper $ pydoc yahooscraper.login $ pydoc yahooscraper.fantasy.team
示例
输出幻想NBA球队名称:
importyahooscraperasysLEAGUE_ID=237834TEAM_ID=8session=ys.login.authenticated_session()response=session.get(ys.fantasy.team.url('nba',LEAGUE_ID,TEAM_ID))team=ys.fantasy.team.team(response.text)print(team)
安装
$ pip install yahooscraper
开发
测试
$ python tests.py
展开
- 凹凸版本在setup.py
- $ python setup.py register
- $ python setup.py sdist upload