面试中现学现用的第一个爬虫程序（原生java+手动导包）

为了不浪费大家的时间，防止大家沉迷而导致荒废，大家可以按需观看，毕竟第一次写博客，字数有点多内容有点杂。

重点内容

爬虫原理（个人理解）

网页的编写是有规律的，我们爬取资源的时候应该按照规律去进行一些判定，从而筛选出我们想要的部分。

怎么爬取

现在的网站都是多层的结构，我们经常需要在每一层获取需要的资源，或者是到最下层获取资源，以上重点理解
举个例子，比如我要爬取豆瓣里面小组前50页帖子的照片（现学现用）因为帖子的上层是分页，所以完成需求就得获取前50页的链接，然后进入每一个分页中找到每个帖子的链接，在每个帖子中找到图片的位置并将图片保存到本地。以上就是我的这次面试题目的完整解题大纲了。

底层逻辑

如何通过一个链接得到链接网址的静态页面？怎么从静态页面中得到所需的标签？怎么从得到的标签内获取所需的内容？详细步骤在2.2中。

先简单说明事情的起因经过吧

• 准大四狗在网课中空虚而裸面 找工作的作死路程。
• 找的是后端开发c#，在校期间学的纯java，但是自我感觉良好，所以。。。
• 面试共有4轮，一轮网面，二轮考基础，先为自己点个赞，题目都会，就是自己时间没安排好（下面详说），导致解题总有一些小问题。
• 故事的悲伤发生在第三面，要求是在第二天的上机考核中实现一个爬虫，求一个只停留在听过爬虫的狗子的心理阴影面积
  

那我们就开始正题吧

在一顿猛如虎的操作中，我成功进入了最终面，题目简单抽象就是爬取豆瓣一个小组中的照片，并按照帖子标题+发布时间+文件大小保存到硬盘制定文件夹内。
首先因为是隔天考，当天中午才到深圳，下午面试，晚上找房子，所以到上机那一刻，我都是一个新鲜的 无知萌新。

• 早上九点开始上机，从毫无头绪到找到思路用了4小时。
• 下午一点开始码到五点大致完成。
• 目前重新复盘一下快速学习的方法论，期望从中提取出有价值的快速学习方法。

1.上机后的四小时我都做了啥子！？！

首先作为一个只学过原生java和平常只刷刷Leecode没做过项目的人来说，这四小时注定没有答案。
人的思维是跳跃联想不连续的，除非刻意才能表现出逻辑性。所以以下的内容我将尽量的展现我思考的原始面貌，以期待能为大家提供帮助。

1.1安装需要的工具

在上机后的第一件事就是下载JDK和eclipse，毕竟其他都。。。
这是第一个痛点：大学教育的脱节导致在我说明我用的是eclipse的时候，我迎来了惊叹“这应该是老一辈人才还在用的了”

都是小问题。。。我们继续
首先重申一下，只学过原生java，什么框架spring，数据仓库maven都不会用。。。

1.2查询如何进行爬虫

1.2.1maven+框架

在我猴急的一顿“Java爬虫”中，度娘为我提供了热情的服务，在度娘的服务中我知道了可以用一些GitHub上面优秀的框架来完成爬虫，简单快捷又方便， 哇呜~好吧我看不懂，你的热情又打了水漂。

1.2.2可以只用maven不用框架

在我第二次提裤上阵的时候，度娘再次热情的接待了我，这次我的需求是“Java爬虫无框架！！！”，在这次度娘的狂热服务中，我索取了近十多次。。。网页。最终明白了爬虫不是非得用框架，可以用maven自动导包，用原生java就能解决问题。
说干就干，查询了maven的安装使用教程后，我经历了两个小时的入门到放弃。

怪不得，怪不得，这特么对第一次太不友好了，怪不得eclipse会被嫌弃，这波操作果断劝退了我。
####1.2.3 原生java就能搞定，需要就百度下载包然后导包
在我扶着墙最后一次走近度娘时。。。。我终于悟了。

不会maven就不会嘛，反正自己不会就下载包不就得了。。。这才是啥子都不会的雏，也就是我的正确操作。

2.进入本次的高潮，说说我是怎么通过原生java和简单的导包完成一次爬虫的操作

建议先看完第四步再从第一步开始，不然出错别找我

2.1第一步，分析并归纳步骤

首先既然不准备选择框架，自己手撕就意味着需要自己整理逻辑，并得到一个可行的解决方案。

2.1.1分析题目需求

题目需要我们对一个网站进行爬取图片并保存到本地的一个操作，我们就可以采用分治法把这个大问题分解，从而得到我们所能解决的小问题，再最终整合得到这个问题的答案。
第一个问题，怎么爬取资源？第二个问题，爬取后的资源怎么保存到本地？
上机后的四小时注定不是无用功，虽然没学过爬虫，但是爬取资源的操作大致就了解了。

2.1.2爬虫的原理

网页的编写是有规律的，我们爬取资源的时候应该按照规律去进行一些判定，从而筛选出我们想要的部分。

按照这个原理我们就可以可以把爬取这个问题再细分。

2.1.3怎么爬取

现在的网站都是多层的结构，我们经常需要在每一层获取需要的资源，或者是到最下层获取资源，以上重点理解。

举个例子，比如我要爬取豆瓣里面小组前50页帖子的照片（现学现用）因为帖子的上层是分页，所以完成需求就得获取前50页的链接，然后进入每一个分页中找到每个帖子的链接，在每个帖子中找到图片的位置并将图片保存到本地。以上就是我的这次面试题目的完整解题大纲了。
下面是具体子问题

• 获取前50个分页的链接
• 由一个分页链接得到分页内所有帖子的链接
• 由帖子的链接得到帖子内所需图片的链接

2.1.4怎么保存到本地

每张图片的链接打开后即是一个下载路径，我们用java打开后，用IO流传输到本地即可。

2.2第二步，逐步完成所需方法

通过第一步我们得到我们需要实现的四个方法

• 爬取前50分页链接
  每个网站的分页一般网站的target值会不一样，修改网址的target值就可以得到每个分页的网址链接
• 爬取单个分页内帖子的链接
  分页贴子一般是通过表格实现的，而且帖子的class属性名都是一样的，通过筛选class属性即可得到每个贴子的网址。
• 爬取帖子里图片的链接
  同上，贴子中的图片的class值往往都是相同的，也可以通过class值筛选需要的图片链接。
• 通过图片链接保存到本地的io流方法

要实现以上方法，我们需要解决下面的问题，当完成下面的问题，这些方法就都能迎刃而解。

问题来了：如何通过一个链接得到链接网址的静态页面？怎么从静态页面中得到所需的标签？怎么从得到的标签内获取所需的内容？
三个问题一次解决
下面的代码的功能是找到url（网址）内class标签为title的第一个子标签属性href的值，保存在集合中。
重点中的重点！！这个代码块就是爬虫的核心
百度下载 这个包jsoup-1.7.2.jar，导包教程百度有

import java.util.ArrayList;import java.io.*;import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;//集合保存获取到的数据ArrayList<String> arrayURL = new ArrayList();String url = "在这输入你要查的网址";String title = "在这输入你要查找的标签的class属性的值";try {//获取url网址Document doc= Jsoup.connect(url).get();Elements items = doc.getElementsByClass(title);for (Element e : items) {//获取标签的内容//e.val();//获取标签的子标签, i 为位置//e.child(i);//获取标签内属性的值,s为属性名称//e.attr(s);arrayURL.add(e.child(0).attr("href")); }} catch (IOException e) {e.printStackTrace();}

通过以上代码再结合问题就能做出一个简单的爬虫了，我的问题的具体代码就不贴出了，毕竟网站不同没有参考性。但是这个方法是切实有效的。

2.3第三步，调用方法完成爬虫

以我的问题为例子：将特定豆瓣小组里面的前50页帖子的图片保存到本地。
我的步骤是先得到第一页的网址，对比和第二页的网址发现target值不一样，修改target值就得到前50页的链接
每个分页里面的帖子的class值我查看了网页的html后发现都为title，所以通过上面代码块的方法得到了每个分页的帖子的链接，遍历50个分页得到50个分页内所有帖子的链接。
进入帖子之后，通过多个帖子的比对，我也发现了帖子里面图片的class值是相同的，同上就可以获取到每个图片的链接。
每次获取到一个图片的链接后，通过IO流进行本地保存，具体的话百度挺多的，就不贴出了，有点懒了。

2.4第四步，完成工作并放弃治疗

在很嗨的保存了4000张图片后，正式宣布我的IP被封了，因为爬太凶了。。。这不能怪我啊，我之前又没爬过
怎么知道还有这骚操作，各位引以为戒，为了表达我的悔改之意，我准备献出我珍藏多年的另一个代码

   `imeUnit.MILLISECONDS.sleep(5000);	//毫秒级延时请求，反反爬

直接让子弹多飞一会就行了，5秒抓取一个网页你还能封我？？

当然具体应该放哪里合适就请各位老司机自行掌握了，当然在爬虫过程中可能有时会出现格式乱码现象，这时就得。。。。自己百度了我没事，嘿嘿嘿

3.总结

大学期间不能只停留在完成学习的任务上，或者参与暑期实习了解社会现象，或许上Leecode刷题加强底蕴，或许上GitHub参与开源项目积累经验。

最后，写代码前拜雍正。