(完整篇)python amazon入门爬虫

这篇是小完善一下上一篇文章的，为了让对爬虫有兴趣的小伙伴学习，所以这里展示一下。(供学习)

1. 以往我发现有些不是同行的朋友，他们对amazon的商品信息挺在意的，所以就会弄个google Chrome插件，我百度了一下叫“ds amazon quick view”其实这个插件就是一些html文件、内含css等一些静态文件，它会在商品的下方加载ASIN、排名等的数据。
2. 不过这些都要加载的，最大的问题是需要启动浏览器以及插件。用selenium来抓取也是可以的，但是这样比较耗费时间，而且也占资源。
3. 这里也可以给大家介绍个方法。
   
   启动浏览器选项，并且加载插件，我这里是加载全部插件，个人有自己的需求，如果只想加载一个插件的话，把路径添加上即可。

我们这里就不再继续赘述了，盘它！

4. 首先我们需要获取URL，这里我们就衔接上一篇文章开始从数据库中读取
   
   我们每次取一条，取完就把状态码改为“1” 这里用if语句判断一下，如果没有状态码为“0”的我们就读取结束，并且退出程序。注释个人刚觉已经写的比较详细了。

5. 我们这次来分析网页，这次抓取的数据如图
   
   以及商品下面会有一个产品信息，如果你想抓取、其他的字段例如、品牌、制造商可以自己添加，不熟练的请回头看一下我其他的博客。
   

6. 最后就是数据获取了，直接上图
   
   这里为什么我使用try呢，这个问题我这里解释一下，上一篇抓取的商品url中，网页显示的布局不太一样，所以定位的时候就定位不到，我这里上图给你们看一下
   我们这里写的代码正常抓取 应该是这样的
   
   这种表格形式的。但是会遇到这种情况 如图：
   
   这里显示是文本形的！

7. 我这里对代码没有完善好，但是可以提个思路，可以自己尝试去改
   第一个思路就是：你可以把网页解析失败的打印出错误日志，保存起来。重新修改源码，分析网页，然后去日志中把url遍历回来继续抓取。当然这样显得繁琐。修改源码的一般都是不太建议采纳，不过其中也有很多小知识可以学习，所以还是可以去尝试。
   第二个思路就是：去分析两个不同的网页之间区别，挫F12自己分析一下。然后再中间的源码中更改一下。

好了，其他方法都是有的。我跳过了，接着就是为了方便把编辑器腾出来，我一条条遍历url，我打算用.bat文件来执行爬虫。

新建一个文本文档，里面写入：如图

把后缀名改成“.bat”就行了。

最后我们来看一下程序的执行以及数据展示

源码需要的可以找我拿，暂时就不单独放出来了！祝福小伙伴们学习进步，过年后写一点难度较大的，例如验证码、代理以及代理池搭建、手机APP自动脚本等，最后最后最后希望有不足的地方，请说出来。