page-parser 0.0.4

项目简介

项目名称：六行代码写爬虫

英文名称：PageParser

项目简介：一个爬虫使用的网页解析包，实现最大限度的代码复用

项目目标：不懂网页解析也能写爬虫

安装模块

pip install page-parser

最小项目示例：

importrequestsfrompage_parserimportBaiduParser# 1、下载网页response=requests.get("https://www.baidu.com/")html=response.content.decode("utf-8")# 2、解析网页items=BaiduParser.parse_index(html)# 3、输出数据foriteminitems:print(item)# {'title': '百度一下，你就知道'}

支持网页

使用示例

# -*- coding: utf-8 -*-importrequestsfrompage_parserimportBaiduParser# 1、下载网页url="https://www.baidu.com/"response=requests.get(url)response.encoding=response.apparent_encoding# 2、解析网页items=BaiduParser.parse_index(response.text)# 3、输出数据foriteminitems:print(item)# {'title': '百度一下，你就知道'}

网络爬虫工作流程：

页面下载器 -> 页面解析器 -> 数据存储

页面下载器: 主要涉及防爬攻破，方法各异，爬虫的难点也在此

页面解析器: 一般页面在一段时间内是固定的，每个人下载页面后都需要解析出页面内容，属于重复工作

数据存储: 不管是存储到什么文件或数据库，主要看业务需求

此项目就是将这项工作抽离出来，让网络爬虫程序重点关注于：网页下载，而不是重复的网页解析

项目说明

此项目可以和python 的requests 和scrapy 配合使用

当然如果要和其他编程语言使用，可以使用flask等网络框架再次对此项目进行封装，提供网络接口即可

发起人：mouday

发起时间：2018-10-13

需要更多的人一起来维护

贡献代码

贡献的代码统一放入文件夹：page_parser

代码示例，如没有更好的理由，应该按照下面的格式，便于使用者调用

baidu_parser.py

# -*- coding: utf-8 -*-# @Date    : 2018-10-13# @Author  : Peng ShiyufromparselimportSelectorclassBaiduParser(object):"""
    百度网：https://www.baidu.com/
    """@staticmethoddefparse_index(html):"""
        解析主页：https://www.baidu.com/
        2018-10-13 pengshiyuyx@gmai.com
        :param html: {str} 网页文本
        :return: {iterator} 抽取的内容
        """sel=Selector(html)title=sel.css("title::text").extract_first()item={"title":title}yielditemif__name__=='__main__':importrequestsresponse=requests.get("https://www.baidu.com/")response.encoding=response.apparent_encodingitems=BaiduParser.parse_index(response.text)foriteminitems:print(item)# {'title': '百度一下，你就知道'}

说明：

文件名：baidu_parser
类名：BaiduParser
方法名：parse_index

加入我们

联系方式

PageParser QQ群号: 932301512