使用代理爬网api获取相似的Web数据
similarweb-scraper的Python项目详细描述
相似刮刀
similarweb_scraperis是一个python库，用于使用proxyscrawlapi抓取similarweb，目前它可以绕过distil投影。它还提供了一些功能来将刮取的数据转换为pd数据帧。在
安装
使用包管理器pip安装foobar。在
pip install similarweb-scraper ## Usage from similarweb_scraper import scraper ### get the website htmlweb_scrape= scraper() web_scrape.login(#api key from proxycrawl.com) web_scrape.webpage_scrape(#websit e.g: hk.yahoo.com)### get the html codesoup= web_scrape.og_soup ### get the html code as json formatweb_json= web_scrape.json_storage ### get data into json formatdf= web_scrape.metrics_to_df(#str(metrics_type))##metrics_type name :#'country_share',#'traffic_share',# engagement',#'monthly_traffic_data'# more function will be available soon
贡献
欢迎拉取请求。对于重大变化，请先打开一个问题，讨论您希望更改的内容。在
请确保根据需要更新测试。在
许可证
- 项目
标签：
欢迎加入QQ群-->： 979659372
