Python大显身手：轻松爬取百万张超清壁纸

本文主要是介绍Python大显身手：轻松爬取百万张超清壁纸，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

安装：


pip install mechanicalsoup wget

完整实例：


#By Python_Fucker On 25/03/2024
from mechanicalsoup import StatefulBrowser
import re
import wget 
import osdef validateTitle(title):rstr = r"[\/\\\:\*\?\"\<\>\|]"  # '/ \ : * ? " < > |'new_title = re.sub(rstr, "_", title)  # 替换为下划线return new_title
def fuck_image(num):for i in range(1,num):#最多可以设置838页print(f"正在爬取第{i}页....")pram=""if i>1:pram=f"index_{i}.htm"browser = StatefulBrowser()if not os.path.exists("图片/"):os.mkdir("图片/")browser.open("http://www.netbian.com/1920x1080/"+pram)page = browser.get_current_page()links_info = [(a.attrs.get('href'), a.attrs.get('title')) for a in page.select('li a') if 'href' in a.attrs and 'title' in a.attrs]relevant_links = [(link, title) for link, title in links_info if '/desk/' in link]image_ids = [int(re.findall(r'\d+', link)[0]) for link, _ in relevant_links]for id, title in zip(image_ids, [title for _, title in relevant_links]):print(f"图片: {title}",f"\n下载链接：http://www.netbian.com/down.php?type=1&id={id}\n***\n")wget.download("http://www.netbian.com/down.php?type=1&id="+str(id),f"图片/{validateTitle(title)}.jpg")#下载if __name__ == '__main__':
#开始下载fuck_image(10)#设置下载页数,最高838

输出：

帽子 兽耳 动漫壁纸 更新时间：2024-03-10
下载链接：http://www.netbian.com/down.php?type=1&id=33336
***100% [..........................................................................] 1427129 / 1427129图片: 森林里的早晨 太阳 春天风景壁纸 更新时间：2024-03-09
下载链接：http://www.netbian.com/down.php?type=1&id=33335
***100% [..........................................................................] 2088366 / 2088366图片: 崩坏星穹铁道 流萤 彩虹 桌面壁纸 更新时间：2024-03-09
下载链接：http://www.netbian.com/down.php?type=1&id=33334
***100% [..........................................................................] 1267329 / 1267329图片: 王者荣耀 朵莉亚破晓壁纸 更新时间：2024-03-09
下载链接：http://www.netbian.com/down.php?type=1&id=33333
***100% [..........................................................................] 1502391 / 1502391图片: ins金克丝壁纸  更新时间：2024-03-08
下载链接：http://www.netbian.com/down.php?type=1&id=33329
***100% [............................................................................] 884812 / 884812图片: 可爱粉色长发女 孩 蓝色眼睛 动漫高清壁纸 更新时间：2024-03-08
下载链接：http://www.netbian.com/down.php?type=1&id=33328
***100% [..........................................................................] 1022907 / 1022907图片: 赵露思 健身美女桌面壁纸 更新时间：2024-03-08
下载链接：http://www.netbian.com/down.php?type=1&id=33332
***100% [............................................................................] 905004 / 905004图片: 健身美女赵露思 壁纸 更新时间：2024-03-08
下载链接：http://www.netbian.com/down.php?type=1&id=33330
***100% [............................................................................] 612394 / 612394图片: 健身美女赵露思 高清电脑壁纸 更新时间：2024-03-08
下载链接：http://www.netbian.com/down.php?type=1&id=33331
***100% [............................................................................] 717735 / 717735图片: 日落金山壁纸高 清 更新时间：2024-03-06
下载链接：http://www.netbian.com/down.php?type=1&id=33303
***100% [..........................................................................] 1551531 / 1551531