WebMagic

WebMagic 背景介绍

WebMagic 是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。
WebMagic项目代码分为核心和扩展两部分。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。WebMagic的架构设计参照了Scrapy，目标是尽量的模块化，并体现爬虫的功能特点。

特性：

• 简单的API，可快速上手
• 模块化的结构，可轻松扩展
• 提供多线程和分布式支持

WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。WebMagic的设计参考了Scapy，但是实现方式更Java化一些。
而Spider则将这几个组件组织起来，让它们可以互相交互，流程化的执行，可以认为Spider是一个大的容器，它也是WebMagic逻辑的核心。
WebMagic总体架构图如下：

基本概念

WebMagic的四个组件

1.Downloader

Downloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用了Apache HttpClient作为下载工具。

2.PageProcessor

PageProcessor负责解析页面，抽取有用信息，以及发现新的链接。WebMagic使用Jsoup作为HTML解析工具，并基于其开发了解析XPath的工具Xsoup。
在这四个组件中，PageProcessor对于每个站点每个页面都不一样，是需要使用者定制的部分。

3.Scheduler

Scheduler负责管理待抓取的URL，以及一些去重的工作。WebMagic默认提供了JDK的内存队列来管理URL，并用集合来进行去重。也支持使用Redis进行分布式管理。
除非项目有一些特殊的分布式需求，否则无需自己定制Scheduler。

4.Pipeline

Pipeline负责抽取结果的处理，包括计算、持久化到文件、数据库等。WebMagic默认提供了“输出到控制台”和“保存到文件”两种结果处理方案。
Pipeline定义了结果保存的方式，如果你要保存到指定数据库，则需要编写对应的Pipeline。对于一类需求一般只需编写一个Pipeline。

用于数据流转的对象

1. Request

Request是对URL地址的一层封装，一个Request对应一个URL地址。
它是PageProcessor与Downloader交互的载体，也是PageProcessor控制Downloader唯一方式。
除了URL本身外，它还包含一个Key-Value结构的字段extra。你可以在extra中保存一些特殊的属性，然后在其他地方读取，以完成不同的功能。例如附加上一个页面的一些信息等。

2. Page

Page代表了从Downloader下载到的一个页面——可能是HTML，也可能是JSON或者其他文本格式的内容。
Page是WebMagic抽取过程的核心对象，它提供一些方法可供抽取、结果保存等。在第四章的例子中，我们会详细介绍它的使用。

3. ResultItems

ResultItems相当于一个Map，它保存PageProcessor处理的结果，供Pipeline使用。它的API与Map很类似，值得注意的是它有一个字段skip，若设置为true，则不应被Pipeline处理。

WebMagic 快速入门

1. 添加Maven依赖：

   <dependency>
       <groupId>us.codecraft</groupId>
       <artifactId>webmagic-core</artifactId>
       <version>${webmagic.version}</version>
   </dependency>
   <dependency>
       <groupId>us.codecraft</groupId>
       <artifactId>webmagic-extension</artifactId>
       <version>${webmagic.version}</version>
   </dependency>

2. 编写PageProcesser爬取解析页面：

   public class GithubRepoPageProcessor implements PageProcessor {
   
       private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);
   
       @Override
       public void process(Page page) {
           page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/\\w+/\\w+)").all());
           page.putField("author", page.getUrl().regex("https://github\\.com/(\\w+)/.*").toString());
           page.putField("name", page.getHtml().xpath("//h1[@class='public']/strong/a/text()").toString());
           if (page.getResultItems().get("name")==null){
               //skip this page
               page.setSkip(true);
           }
           page.putField("readme", page.getHtml().xpath("//div[@id='readme']/tidyText()"));
       }
   
       @Override
       public Site getSite() {
           return site;
       }
   
       public static void main(String[] args) {
           Spider.create(new GithubRepoPageProcessor()).addUrl("https://github.com/code4craft").thread(5).run();
       }
   }
   //注解方式
   @TargetUrl("https://github.com/\\w+/\\w+")
   @HelpUrl("https://github.com/\\w+")
   public class GithubRepo {
   
       @ExtractBy(value = "//h1[@class='public']/strong/a/text()", notNull = true)
       private String name;
   
       @ExtractByUrl("https://github\\.com/(\\w+)/.*")
       private String author;
   
       @ExtractBy("//div[@id='readme']/tidyText()")
       private String readme;
   
       public static void main(String[] args) {
           OOSpider.create(Site.me().setSleepTime(1000)
                   , new ConsolePageModelPipeline(), GithubRepo.class)
                   .addUrl("https://github.com/code4craft").thread(5).run();
       }
   }