天冷了，好的棉袄不能少。Python爬取某宝2008条棉袄。哪种暖和？

 转眼就到11月份了，本以为能在湖南过一个浪漫的秋天，但是没想到今年的湖南没有秋天，直接到了寒风刺骨的冬天。。。

于是，赶紧打开了Python，用它爬取并分析一波棉袄，找到一件最合适的棉袄给裹到身上。

数据采集

数据采集是数据可视化分析的第一步，也是最基础的一步，数据采集的数量和质量越高，后面分析的准确的也就越高，我们来看一下淘宝网的数据该如何爬取。

淘宝网站是一个动态加载的网站，我们之前可以采用解析接口或者用Selenium自动化测试工具来爬取数据，但是现在淘宝对接口进行了加密，使我们很难分析出来其中的规律，同时淘宝也对Selenium进行了反爬限制，所以我们要换种思路来进行数据获取。

打开开发者模式，开始对网页进行观察后发现，淘宝商品的数据竟然在源网页中存储着。

我翻了几页网页之后发现，每翻一页，网页的params参数中的s参数就会增加44(初始值是0)。

经过以上分析，现在我们就可以开始构造爬虫程序了。

01

导入爬虫使用的库

import requests
import re
import time
import random
import openpyxl

02

发起请求

for page in range(1,101):
params = (
('q', '棉袄'),
('imgfile', ''),
('commend', 'all'),
('ssid', 's5-e'),