Python爬虫入门，抓取应届生求职网北京地区所有职位

本文主要是介绍Python爬虫入门，抓取应届生求职网北京地区所有职位，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

    我也是刚刚入门Python爬虫，写这个一方面给和我一样的初学者一个参考，另一方面也希望有高手可以给我指导，一个人学习总是有些无聊的。其实任何语言的学习，我觉得最好的方式就是实战，看过太多理论，也不如实际撸一遍代码来的痛快，所以我就不去一一介绍那些用到的库啊函数啊什么的，网上资料一找一大把，我主要讲一讲整个过程中的思路吧。
    今天我们要抓取的就是应届生求职网北京地区的所有职位（http://www.yingjiesheng.com/beijing-morejob-1.html），这是第一页的网址，从网址上就可以猜到后面的数字代表了工作的页数，所以很容易想到根据网址遍历所有的网页，抓取其中所有的职位。其实最后的大目标是要抓取所有的职位及其详细信息，我们先完成第一步，抓取所有的职位及其详细信息的链接。
    第一步，我们先看看能不能直接用urlopen函数下载网页，需不需要设置用户代理等等。

import urllib2
url='http://www.yingjiesheng.com/beijing-morejob-1.html'
print urllib2.urlopen(url).read()

结果如下图所示

真是喜忧参半啊，高兴的是该网页不需要设置任何用户代理就可以直接下载，不开森的是下载的网页里面中文部分变成了一些奇奇怪怪的东西，所以编码肯定有问题。从下载的网页的第5行我们可以看到charset='gbk'，原来网页的编码是gbk，而Python默认的是utf-8，所以肯定有问题。这个时候就要用decode-encode大法了，修改代码为

url='http://www.yingjiesheng.com/beijing-morejob-1.html'
print urllib2.urlopen(url).read().decode('gbk','ignore').encode('utf-8')

结果如下图所示

好的，这下中文显示正常了，可以开始愉快地抓取网页内容了。查看网页源码如下

第二步是网页内容提取。我们发现所有的职位及其链接都在标签td下，class=item1类的a标签下，其中链接是href属性，职位名称是a的文字内容，所以可以利用BeautifulSoup非常方便地抓取目标内容。

from bs4 import BeautifulSoup
content=urllib2.urlopen(url).read().decode('gbk','ignore').encode('utf-8')
bs=BeautifulSoup(content,'html.parser')
res=bs.find_all("td",{"class":"item1"})
site=item.find('a').attrs['href'].encode('gbk','ignore')
job=item.find('a').text.encode('gbk','ignore')

不过需要注意的是，网页中给出的职位链接相当一部分是相对链接，这样的话后面想下载职位具体内容时就会不方便，所以需要加一个判断来补全相对链接。最后一步就是存储了，将所有结果写入一个csv文件即可，最后的整体代码如下所示

__author__='CD'
# -*- coding: utf-8 -*-import urllib2
from bs4 import BeautifulSoup
import csvurl="http://www.yingjiesheng.com/beijing-morejob-"
csvfile = file('links.csv', 'wb')
writer = csv.writer(csvfile)for i in xrange(1,356):url_total=url+str(i)+".html"print 'Now downloading page '+str(i)content=urllib2.urlopen(url_total).read().decode('gbk','ignore').encode('utf-8')bs=BeautifulSoup(content,'html.parser')res=bs.find_all("td",{"class":"item1"})for item in res:row=[]site=item.find('a').attrs['href'].encode('gbk','ignore')if "http" in site:row.append(site)else:site="http://yingjiesheng.com"+siterow.append(site)row.append(item.find('a').text.encode('gbk','ignore'))writer.writerow(row)

下载结果如下图所示