本文主要是介绍爬虫入门到精通_实战篇12(使用Redis+Flask维护动态Cookies池)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
1 目标
为什么要用Cookies池
- 网站需要登录才可爬取，例如新浪微博
- 爬取过程中如果频率过高会导致封号
- 需要维护多个账号的Cookies池实现大规模爬取
Cookies池的要求
- 自动登录更新
- 定时验证筛选
- 提供外部接口
2 流程框架
首先，需要有一个账号队列，把一些账号密码存到数据库里，生成器即程序从队列里面拿出账号密码，自动地进行登录，并获取登录的Cookies，然后放到Cookies队列里。定时检测器从Cookies队列里定期地随机选出一些Cookies，并用这些Cookies请求网页，如果请求成功就放回队列，否则从队列里剔除，这样就能做到实时更新，保证Cookies队列里的Cookies都是可用的。此外，还需要提供一个API接口，使外部程序能够从队列里获取到Cookies。
3 代码
代码下载
https://github.com/Germey/CookiesPool
https://github.com/Python3WebSpider/CookiesPool
代码结构
代码分析
config.py
配置文件
进程开关，可以模拟每次只生效其中一个
run.py
函数入口
scheduler.py
调度器方法
分别对应配置文件里的参数，判断生效的进程
GENERATOR_MAP：这里有多少网站，就会验证多少网站，易于扩展.
验证器
产生器
api，传入api地址和端口
db.py
redis数据库相关操作
RedisClient：通用数据库操作
CookiesRedisClient：管理Cookies的对象的数据库操作
AccountRedisClient：账号的管理的数据库操作
error.py
自定义错误
tester.py
验证器的相关操作
ValidTester：定义一些相关通用方法
WeiboValidTester和MWeiboValidTester继承ValidTester
generator.py
拿出db里的账号，去微博里验证，验证后的cookies存入db.
CookiesGenerator:一些共通方法
WeiboCookiesGenerator和MWeiboCookiesGenerator继承CookiesGenerator
初始化操作
微博初始化时，一些验证码的操作Yundama.
verify.py
ydm验证码的改写
这篇关于爬虫入门到精通_实战篇12(使用Redis+Flask维护动态Cookies池)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
