python爬取前程无忧岗位详信息

这是之前写的一个爬虫，现在分享一下。这次主要是使用BeautifulSoup，这个是最简单的一种方法。但是这次使用了lambda匿名函数，该函数是python中的一种表达式，lambda函数格式为：冒号前是参数，冒号的右边为表达式。lambda返回值函数的地址，也就是函数对象。还是一步步分析：

匹配到新的URL地址，然后获取新的URL的地址下的内容。

#设置访问头
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}
ll = []
def geturl(url): #传入地址res=requests.get(url,headers=headers)#设置编码res.encoding=res.apparent_encoding
#对网页进行解析soup=BeautifulSoup(res.text,'html.parser')#查找并获得新链接lianjie=soup.find_all('p',class_='t1')   for i in lianjie:try:lianjie2=i.find('a')['href']ll.append(lianjie2)except:passreturn ll

获取新的地址并爬取该地址下的内容。

def getinfo(URL): #获得新的地址并进行其地址下的内容爬取res=requests.get(URL,headers=headers)res.encoding=res.apparent_encodingsoup=BeautifulSoup(res.text,'html.parser')#查找匹配’div’,class_=’cn’下的内容all=soup.find_all('div',class_='cn')#查找匹配职位、地址、公司名称、公司介绍和学历要求等等。for each in all:zhiwei=each.find('h1').textdiqu=each.find('span',class_='lname')gongsi=each.find('p',class_='cname').text.strip('\n')jianjie=each.find('p',class_='msg ltype').textjianjie1='--'.join(list(map(lambda x:x.strip(),jianjie.split('|'))))xinzi=each.find('strong').text            all2=soup.find_all('div',class_='tCompany_main')

 对公司的岗位职责进一步爬取，对公司的信息，职责等进行爬取

for each2 in all2: #获得年限要求和职责的URL进行爬取jingyan=each2.find_all('span',class_='sp4')jingyan1='--'.join(list(map(lambda x:x.text.strip(),jingyan)))fuli=each2.find_all('p',class_='t2')fuli1='--'.join('--'.join(list(map(lambda x:x.text.strip(),fuli))).split('\n'))zhize=each2.find_all('div',class_='bmsg job_msg inbox')for p in zhize:zhize1=p.find_all('p')zhize2='\n'.join(list(map(lambda x:x.text.strip(),zhize1)))dizhi=each2.find('div',class_='bmsg inbox')xinxi=each2.find('div',class_='tmsg inbox')

详细代码：

# -*- coding: utf-8 -*-import requests
from bs4 import BeautifulSoup
import time j=51
while j<60:headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}ll = []def geturl(url):res=requests.get(url,headers=headers)res.encoding=res.apparent_encodingsoup=BeautifulSoup(res.text,'html.parser')lianjie=soup.find_all('p',class_='t1')   for i in lianjie:try:lianjie2=i.find('a')['href']ll.append(lianjie2)except:passreturn lltotal=[]def getinfo(URL):res=requests.get(URL,headers=headers)res.encoding=res.apparent_encodingsoup=BeautifulSoup(res.text,'html.parser')all=soup.find_all('div',class_='cn')for each in all:zhiwei=each.find('h1').textdiqu=each.find('span',class_='lname')gongsi=each.find('p',class_='cname').text.strip('\n')#print(gongsi)jianjie=each.find('p',class_='msg ltype').textprint(jianjie)jianjie1='--'.join(list(map(lambda x:x.strip(),jianjie.split('|'))))#print(jianjie1)xinzi=each.find('strong').text#print(xinzi)all2=soup.find_all('div',class_='tCompany_main')for each2 in all2:jingyan=each2.find_all('span',class_='sp4')jingyan1='--'.join(list(map(lambda x:x.text.strip(),jingyan)))fuli=each2.find_all('p',class_='t2')fuli1='--'.join('--'.join(list(map(lambda x:x.text.strip(),fuli))).split('\n'))zhize=each2.find_all('div',class_='bmsg job_msg inbox')for p in zhize:zhize1=p.find_all('p')zhize2='\n'.join(list(map(lambda x:x.text.strip(),zhize1)))dizhi=each2.find('div',class_='bmsg inbox')xinxi=each2.find('div',class_='tmsg inbox')#print(zhize2)with open('C:\\Users\\USER\\Desktop\\biyeshejidaimai\\gongzuoxinxi.txt','a+',encoding='utf-8') as f:f.write(str(jianjie)+'\n')f.close()print("正在写入第"+str(j)+"页数据")info={#'zhiwei':zhiwei,#'diqu':diqu,#'gongsi':gongsi,#'jianjie':jianjie1,'xinzi':xinzi,#'jingyan':jingyan1,#'fuli':fuli1,'zhize':zhize2,#'dizhi':dizhi,'xinxi':xinxi}total.append(info)return totalif __name__ == '__main__':url='https://search.51job.com/list/260200,000000,0000,00,9,99,%E8%AE%A1%E7%AE%97%E6%9C%BA,2,'+str(j)+'.html'#只抓一页，可以for循环抓多页for i in geturl(url)[1:]:time.sleep(2)getinfo(i)import pandas as pddf=pd.DataFrame(total)df.to_excel('C:\\Users\\USER\\Desktop\\biyeshejidaimai\\zhaopinjieshao.xls')j=j+1

结果如下：

好了，就到这里。