换坑季-51Job前程无忧 Python爬虫

2023-11-11 07:10

本文主要是介绍换坑季-51Job前程无忧 Python爬虫,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

写了个简易的Python爬虫,实现对目的工作的分析。
说明,只用了正则re库进行数据处理,requests进行请求,开了4个简易的函数线程。
url是以下界面的url:
在这里插入图片描述
主要实现了以下CSV功能:
在这里插入图片描述
全部代码:

import requests
import re
import csv
from threading import Threaddef req(i):count = 1try:for url in i:headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'}response = requests.get(url=url, headers=headers, timeout=5)response.encoding = 'GBK'content = re.findall(r'<a target="_blank" title="(.*?)" href="(.*?)" onmousedown="">.*?<span class="t2"><a target="_blank" title="(.*?)" href=".*?">.*?</a></span>.*?<span class="t3">(.*?)</span>.*?<span class="t4">(.*?)</span>.*?<span class="t5">(.*?)</span>', response.text, re.S)# print(content)for index in content:txt = []title = index[0]thisUrl = index[1]try:thisContent = requests.get(url=thisUrl, headers=headers, timeout=5)text = re.findall(r'<div class="bmsg job_msg inbox">(.*?)<div class="mt10">', thisContent.text, re.S)final = ''.join(text).replace('\r\n\t\t\t\t\t\t', '').replace('<p>', '').replace('</p>', '').replace('<span>', '').replace('</span>', '').replace('<br>', '').replace('&nbsp;', '').replace('</div>', '').replace('<div>', '').replace('\t\t\t\t\t\t\t\t\t\t\t\t', '').replace('<b>', '').replace('</b>', '').replace('</li>', '').replace('</strong>', '').replace('<strong>', '').replace('<li>', '')company = index[2]area = index[3]salary = index[4]date = index[5]txt.append(title)txt.append(thisUrl)txt.append(final)txt.append(company)txt.append(area)txt.append(salary)txt.append(date)# print(txt)with open(r'./前程无忧.csv', 'a', newline='', encoding='utf-8-sig') as csvf:spanwriter = csv.writer(csvf)spanwriter.writerow(txt)count = count + 1except:print("此次请求详情失败!!!" + thisUrl)except:print('请求首页失败!' + i)print("共%d多少条信息~" % count)if __name__ == '__main__':txt1 = []txt2 = []txt3 = []txt4 = []url = 'https://search.51job.com/list/090200,000000,0000,00,9,99,%25E8%25BF%2590%25E7%25BB%25B4%25E5%25B7%25A5%25E7%25A8%258B%25E5%25B8%2588,2,{}.html?lang=c&stype=1&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare='for i in range(1, 6):i = url.format(i)txt1.append(i)for j in range(6, 12):j = url.format(j)txt2.append(j)for k in range(12, 18):k = url.format(k)txt3.append(k)for k in range(18, 24):k = url.format(k)txt3.append(k)t1 = Thread(target=req, args=(txt1,))t1.start()print('t1线程开始!')t2 = Thread(target=req, args=(txt2,))t2.start()print('t2线程开始!')t3 = Thread(target=req, args=(txt3,))t3.start()print('t3线程开始!')t4 = Thread(target=req, args=(txt4,))t4.start()print('t4线程开始!')

上面这个开了4个线程的代码其实对爬虫还是不太友好。
以下代码可以在详细页进行爬虫,建议使用生产者消费者模式。

import re
import requestsurl = 'https://jobs.51job.com/chengdu-jjq/114069603.html?s=01&t=0'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'}
response = requests.get(url=url, headers=headers, timeout=5)
response.encoding = 'GBK'
# 工作职位
job = re.findall(r'<h1 title="(.*?)">', response.text)
print(job)
# 薪资
salary = re.findall(r'<h1 title=".*?">.*?<input value="\d+" name="hidJobID" id="hidJobID" type="hidden" jt="0">.*?<strong>(.*?)</strong>', response.text, re.S)
print(salary)
# 公司名称
company = re.findall(r'target="_blank" title="(.*?)" class="catn">', response.text)
print(company)
# 公司性质
flag = re.findall(r'<p class="at" title="(.*?)"><span class="i_flag"></span>.*?</p>', response.text)
print(flag)
# 公司规模
people = re.findall(r'<p class="at" title="(.*?)"><span class="i_people"></span>.*?</p>', response.text)
print(people)
# 职位详细的内容:
content = re.findall(r'<p class="msg ltype" title="(.*?)">.*?</p>', response.text, re.S)
# 将正则匹配的内容进行字符串处理
content_str = ''.join(content)
# 城市
txt_city = re.findall(r'.*?(成都.*?)&nbsp.*?', content_str)
print(txt_city)
# 招多少人
txt_count = re.findall(r'.*?(招\d人).*?', content_str)
print(txt_count)
# 经验
txt_experience = re.findall(r'.*?(无工作经验).*?', content_str)
if len(txt_experience) == 0:txt_experience = re.findall(r'.*?(\d+年经验).*?', content_str)
print(txt_experience)
# 发布日期
txt_date = re.findall(r'.*?(\d+-\d+发布).*?', content_str)
print(txt_date)
# 学历要求, 只匹配了大专和本科
txt_education = re.findall(r'.*?(本科).*?', content_str)
if len(txt_education) == 0:txt_education = re.findall(r'.*?(大专).*?', content_str)
else:txt_education = '无学历要求'
print(txt_education)
# 职位招聘要求内容描述:
descrition = re.findall(r'<div class="bmsg job_msg inbox">(.*?)<div class="mt10">', response.text, re.S)
descrition = ''.join(descrition).replace('\r\n\t\t\t\t\t\t', '').replace('<p>', '').replace('</p>', '').replace('<span>', '').replace('</span>', '').replace('<br>', '').replace('&nbsp;', '').replace('</div>', '').replace('<div>', '').replace('\t\t\t\t\t\t\t\t\t\t\t\t', '').replace('<b>', '').replace('</b>', '').replace('</li>', '').replace('</strong>', '').replace('<strong>', '').replace('<li>', '')
print(descrition)

这篇关于换坑季-51Job前程无忧 Python爬虫的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/388383

相关文章

使用Python实现可恢复式多线程下载器

《使用Python实现可恢复式多线程下载器》在数字时代,大文件下载已成为日常操作,本文将手把手教你用Python打造专业级下载器,实现断点续传,多线程加速,速度限制等功能,感兴趣的小伙伴可以了解下... 目录一、智能续传:从崩溃边缘抢救进度二、多线程加速:榨干网络带宽三、速度控制:做网络的好邻居四、终端交互

Python中注释使用方法举例详解

《Python中注释使用方法举例详解》在Python编程语言中注释是必不可少的一部分,它有助于提高代码的可读性和维护性,:本文主要介绍Python中注释使用方法的相关资料,需要的朋友可以参考下... 目录一、前言二、什么是注释?示例:三、单行注释语法:以 China编程# 开头,后面的内容为注释内容示例:示例:四

Python中win32包的安装及常见用途介绍

《Python中win32包的安装及常见用途介绍》在Windows环境下,PythonWin32模块通常随Python安装包一起安装,:本文主要介绍Python中win32包的安装及常见用途的相关... 目录前言主要组件安装方法常见用途1. 操作Windows注册表2. 操作Windows服务3. 窗口操作

Python中re模块结合正则表达式的实际应用案例

《Python中re模块结合正则表达式的实际应用案例》Python中的re模块是用于处理正则表达式的强大工具,正则表达式是一种用来匹配字符串的模式,它可以在文本中搜索和匹配特定的字符串模式,这篇文章主... 目录前言re模块常用函数一、查看文本中是否包含 A 或 B 字符串二、替换多个关键词为统一格式三、提

python常用的正则表达式及作用

《python常用的正则表达式及作用》正则表达式是处理字符串的强大工具,Python通过re模块提供正则表达式支持,本文给大家介绍python常用的正则表达式及作用详解,感兴趣的朋友跟随小编一起看看吧... 目录python常用正则表达式及作用基本匹配模式常用正则表达式示例常用量词边界匹配分组和捕获常用re

python实现对数据公钥加密与私钥解密

《python实现对数据公钥加密与私钥解密》这篇文章主要为大家详细介绍了如何使用python实现对数据公钥加密与私钥解密,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录公钥私钥的生成使用公钥加密使用私钥解密公钥私钥的生成这一部分,使用python生成公钥与私钥,然后保存在两个文

python删除xml中的w:ascii属性的步骤

《python删除xml中的w:ascii属性的步骤》使用xml.etree.ElementTree删除WordXML中w:ascii属性,需注册命名空间并定位rFonts元素,通过del操作删除属... 可以使用python的XML.etree.ElementTree模块通过以下步骤删除XML中的w:as

使用Python绘制3D堆叠条形图全解析

《使用Python绘制3D堆叠条形图全解析》在数据可视化的工具箱里,3D图表总能带来眼前一亮的效果,本文就来和大家聊聊如何使用Python实现绘制3D堆叠条形图,感兴趣的小伙伴可以了解下... 目录为什么选择 3D 堆叠条形图代码实现:从数据到 3D 世界的搭建核心代码逐行解析细节优化应用场景:3D 堆叠图

深度解析Python装饰器常见用法与进阶技巧

《深度解析Python装饰器常见用法与进阶技巧》Python装饰器(Decorator)是提升代码可读性与复用性的强大工具,本文将深入解析Python装饰器的原理,常见用法,进阶技巧与最佳实践,希望可... 目录装饰器的基本原理函数装饰器的常见用法带参数的装饰器类装饰器与方法装饰器装饰器的嵌套与组合进阶技巧

Python中Tensorflow无法调用GPU问题的解决方法

《Python中Tensorflow无法调用GPU问题的解决方法》文章详解如何解决TensorFlow在Windows无法识别GPU的问题,需降级至2.10版本,安装匹配CUDA11.2和cuDNN... 当用以下代码查看GPU数量时,gpuspython返回的是一个空列表,说明tensorflow没有找到