本文主要是介绍第十九天-分布式爬虫scrapy-redis，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
1.scrapy-redis介绍
1.scrapy框架程
2.分布式爬虫将多个主机组合起乱来，完成一个爬虫任务，快速高效的提高爬虫效率
3.scrapy-redis框架，
优点：1.加快项目的运行速度2.单节点不稳定不影响整个系统的稳定性 3.断点续爬
缺点：需要投入大量的硬件资源
4.区别：
1.在scrapy框架流程的基础上，把存储reqeust对象放到了redis的有序集合中，利用该有序集合实现了请求队列
2.并且request对象生成指纹对象，也存储到统一redis中，利用request指纹避免发送重复请求；
2.安装
pip install scrapy-redis==2.5.1
这篇关于第十九天-分布式爬虫scrapy-redis的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
