Python爬虫从入门到精通:（39）增量式爬虫

Python爬虫从入门到精通:（39）增量式爬虫_Python涛哥

本文主要是介绍Python爬虫从入门到精通:（39）增量式爬虫_Python涛哥，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

概念

检测网络数据更新的情况，以便于爬取到最新更新出来的数据

实现核心

去重

实战中去重的方式：

记录表

记录表需要记录什么？记录的一定是爬取过的相关信息。

例如某电影网：

爬取过的相关信息：每一部电影详情页的url
只需要使用某一组数据，该组数据如果可以作为该部电影的唯一标识即可，刚好电影详情页的url就可以作为电影的唯一标识。

只要可以标识电影唯一标识的数据我们可以统称位数据指纹。

去重的方式对应的记录表：

python中的set集合（不可以）

set集合无法持久化存储
redis中的set可以的

可以持久化存储

代码案例：

zls.py

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from redis import Redis
from zlsPro.items import ZlsproItemclass ZlsSpider(CrawlSpider):name = 'zls'# allowed_domains = ['www.xxx.com']start_urls = ['http://www.4567kp.com/frim/index1.html']coon = Redis(host='127.0.0.1', port=6379)rules = (Rule(LinkExtractor(allow=r'frim/index1-\d+\.html'), callback='parse_item', follow=False),)def parse_item(self, response):li_list = response.xpath('/html/body/div[1]/div/div/div/div[2]/ul/li')for li in li_list:title = li.xpath('./div/div/h4/a/text()').extract_first()detail_url = 'http://www.4567kp.com' + li.xpath('./div/div/h4/a/@href').extract_first()ex = self.coon.sadd('movie_urls', detail_url)# ex==1插入成功，ex==0插入失败if ex == 1:  # detail_url表示的电影没有存在于记录表中# 爬取电影数据：发起请求print('有新数据更新，正在爬取新数据....')item = ZlsproItem()item['title'] = titleyield scrapy.Request(url=detail_url, callback=self.parse_detail, meta={'item': item})else:  # 存在于记录表中print('暂无数据更新！')def parse_detail(self, response):# 解析电影简介desc = response.xpath('/html/body/div[1]/div/div/div/div[2]/p[5]/span[2]/text()').extract_first()item = response.meta['item']item['desc'] = descyield item

pipeline.py

class ZlsproPipeline:def process_item(self, item, spider):coon=spider.coon #redis的连接对象coon.lpush('movieDate',item)return item

items.py

import scrapyclass ZlsproItem(scrapy.Item):# define the fields for your item here like:# name = scrapy.Field()title = scrapy.Field()desc = scrapy.Field()