自制多肉查询工具

2024-08-24 10:44
文章标签 工具 查询 自制 多肉

本文主要是介绍自制多肉查询工具，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

背景：

复习python qt、网页解析的常用操作

准备：

  1. 多肉信息网站
  2. 涉及python的第三方库：
    • lxml
    • PyQt5

实现效果：

在这里插入图片描述

功能：

  1. 随机读取：从本地加载已存储的多肉信息
  2. 数据更新：从多肉信息网站更新5条多肉数据
  3. 查询：根据多肉的名字，查询本地存储的多肉信息
  4. 展示内容：
    • 多肉名称
    • 多肉介绍
    • 多肉图片

实现过程：

  1. 多肉信息爬取：

    1. 首页爬取多肉科目信息
      在这里插入图片描述

    2. 不同科目的多肉信息
      在这里插入图片描述

    3. 不同属的多肉信息获取
      在这里插入图片描述

    4. 实现代码：

      # -*- coding:UTF-8 -*-"""@ProjectName  : pyExamples@FileName     : crawler@Description  : 爬取多肉信息@Time         : 2023/8/21 下午2:28@Author       : Qredsun"""
import os
import time
import random
import pickle
import requests
from lxml import etree
from loguru import logger'''多肉数据爬虫'''
class SucculentCrawler():DEFAULT_UPDATE_NUM = 5 # 每次更新的多肉信息数量def __init__(self, **kwargs):self.__url = 'https://www.drlmeng.com/'self.referer_list = ["http://www.google.com/", "http://www.bing.com/", "http://www.baidu.com/", "https://www.360.cn/"]self.ua_list = ['Mozilla/5.0 (Linux; Android 5.1.1; Z828 Build/LMY47V) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.111 Mobile Safari/537.36','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.75 Safari/537.36','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.22 (KHTML, like Gecko) Chrome/25.0.1364.172 Safari/537.22','Mozilla/5.0 (iPad; CPU OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) CriOS/47.0.2526.107 Mobile/12F69 Safari/600.1.4','Mozilla/5.0 (iPad; CPU OS 11_2_5 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) CriOS/64.0.3282.112 Mobile/15D60 Safari/604.1','Mozilla/5.0 (Linux; Android 7.1.1; SM-T350 Build/NMF26X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.111 Safari/537.36','Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.98 Safari/537.36','Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.124 Safari/537.36','Mozilla/5.0 (Linux; Android 6.0.1; SM-G610F Build/MMB29K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.98 Safari/537.36','Mozilla/5.0 (Linux; Android 5.1.1; 5065N Build/LMY47V; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/46.0.2490.76 Mobile Safari/537.36','Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36','Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36']self.page_urls = self.__getAllPageUrls()self.savedir = 'resources/succulents'self.page_pointer = 0'''爬取下一页数据'''def next(self):data = self.__parse_drlmeng_subject()self.__saveItem(data)time.sleep(random.random())return False'''多肉科目'''def __parse_drlmeng_subject(self):drlmeng_title = ''drlmeng_category_desc = []drlmeng_img_url = ''# 获取链接page_url = self.page_urls[self.page_pointer]# 提取该页中多肉的图片+详情页链接res = requests.get(page_url, headers=self.__randomHeaders())html = etree.HTML(res.text)archive_head = html.xpath('//*[@id="archive-head"]')if not len(archive_head):logger.debug('解析多肉所属科失败')return drlmeng_title, drlmeng_img_url, drlmeng_category_descarchive_head = archive_head[0]drlmeng_subject = archive_head.xpath('.//h1')if len(drlmeng_subject):drlmeng_subject = drlmeng_subject[0].text.strip()logger.debug(f'科：{drlmeng_subject}')drlmeng_category_desc.append(drlmeng_subject)drlmeng_type_description = archive_head.xpath('.//div/p')if len(drlmeng_type_description):drlmeng_type_description = drlmeng_type_description[0].text.strip()logger.debug(f'科介绍：{drlmeng_type_description}')drlmeng_category_desc.append(drlmeng_type_description)drlmengs = html.xpath('//ul[@class="posts-ul"]/li')drlmengs = drlmengs if drlmengs else html.xpath('//li[@class="row-thumb"]')if len(drlmengs):random_index = random.randint(0, len(drlmengs))drlmeng_info = drlmengs[random_index].xpath('.//a[@class="post-thumbnail"]')if len(drlmeng_info):drlmeng_info = drlmeng_info[0]drlmeng_title = drlmeng_info.attrib.get('title')drlmeng_title = drlmeng_title.replace('/','_')drlmeng_desc_url = drlmeng_info.attrib.get('href')drlmeng_category_desc.append(self.__parse_drlmeng_category(drlmeng_desc_url))drlmeng_img_urls = drlmeng_info.xpath('.//img')if len(drlmeng_img_urls):drlmeng_img_url = drlmeng_img_urls[0].attrib.get('lazydata-src')self.page_pointer += 1return drlmeng_title, drlmeng_img_url, drlmeng_category_desc'''多肉属'''def __parse_drlmeng_category(self, drlmeng_desc_url):content = ''# # 提取该页中多肉的图片+详情页链接res = requests.get(drlmeng_desc_url, headers=self.__randomHeaders())html = etree.HTML(res.text)entry = html.xpath('//div[@class="entry"]')if len(entry):entry = entry[0]line_content = entry.xpath('.//p/text()')for line in line_content:line = line.replace('\u3000', '')line = line.strip()content += linelogger.debug(f'解析多肉详细介绍：{content}')return content'''数据保存'''def __saveItem(self, data):if not os.path.exists(self.savedir):os.mkdir(self.savedir)if not data[0]:returnsavepath = os.path.join(self.savedir, data[0])if not os.path.exists(savepath):os.mkdir(savepath)f = open(os.path.join(savepath, 'show.jpg'), 'wb')f.write(requests.get(data[1], headers=self.__randomHeaders()).content)f.close()f = open(os.path.join(savepath, 'info.pkl'), 'wb')pickle.dump(data, f)f.close()'''获得所有链接'''def __getAllPageUrls(self):res = requests.get(self.__url, headers=self.__randomHeaders())html = etree.HTML(res.text)# html = etree.parse('/home/redsun/Downloads/pycharm-2020.2/run/config/scratches/scratch.html', etree.HTMLParser())ul_list = html.xpath('//ul[@class="sub-menu"]')page_urls = []for ul in ul_list:page_urls.extend(ul.xpath('.//a/@href'))if page_urls.__len__() >= self.DEFAULT_UPDATE_NUM:page_urls = page_urls[:self.DEFAULT_UPDATE_NUM]breakreturn page_urls'''随机请求头'''def __randomHeaders(self):return {'user-agent': random.choice(self.ua_list), 'referer': random.choice(self.referer_list)}if __name__ == '__main__':c = SucculentCrawler()c.next()

  2. 窗口交互：

    # -*- coding:UTF-8 -*-"""@ProjectName  : pyExamples@FileName     : SucculentQuery@Description  : 多肉信息查询工具外壳@Time         : 2023/8/21 下午2:28@Author       : Qredsun"""
import io
import os
import sys
import random
import threading
from PIL import Image
from PyQt5.QtGui import *
from PyQt5.QtWidgets import *
from PyQt5 import QtGui
from crawler import *'''多肉数据'''
class SucculentQuery(QWidget):def __init__(self, parent=None, **kwargs):super(SucculentQuery, self).__init__(parent)self.setWindowTitle('多肉数据查询-微信公众号:Qredsun')self.setWindowIcon(QIcon('resources/icon/icon.jpg'))# 定义组件self.label_name = QLabel('多肉名称: ')self.line_edit = QLineEdit()self.button_find = QPushButton()self.button_find.setText('查询')self.label_result = QLabel('查询结果:')self.show_label = QLabel()self.show_label.setFixedSize(300, 300)self.showLabelImage('resources/icon/icon.png')self.text_result = QTextEdit()self.button_random = QPushButton()self.button_random.setText('随机读取')self.button_update = QPushButton()self.button_update.setText('数据更新')self.tip_label = QLabel()self.tip_label.setText('数据状态: 未在更新数据, 数据更新进度: 0/0')# 排版self.grid = QGridLayout()self.grid.addWidget(self.label_name, 0, 0, 1, 1)self.grid.addWidget(self.line_edit, 0, 1, 1, 30)self.grid.addWidget(self.button_find, 0, 31, 1, 1)self.grid.addWidget(self.button_random, 0, 32, 1, 1)self.grid.addWidget(self.button_update, 0, 33, 1, 1)self.grid.addWidget(self.tip_label, 1, 0, 1, 31)self.grid.addWidget(self.label_result, 2, 0)self.grid.addWidget(self.text_result, 3, 0, 1, 34)self.grid.addWidget(self.show_label, 3, 34, 1, 1)self.setLayout(self.grid)self.resize(600, 400)# 事件绑定self.button_find.clicked.connect(self.find)self.button_random.clicked.connect(self.randomRead)self.button_update.clicked.connect(lambda _: threading.Thread(target=self.update).start())'''数据查询'''def find(self):datadir = os.path.join('resources/succulents/', self.line_edit.text())if os.path.exists(datadir):self.showLabelImage(os.path.join(datadir, 'show.jpg'))intro = pickle.load(open(os.path.join(datadir, 'info.pkl'), 'rb'))[-1]self.showIntroduction(intro)'''随机读取'''def randomRead(self):datadir = random.choice(os.listdir('resources/succulents/'))self.line_edit.setText(datadir)datadir = os.path.join('resources/succulents/', self.line_edit.text())if os.path.exists(datadir):self.showLabelImage(os.path.join(datadir, 'show.jpg'))intro = pickle.load(open(os.path.join(datadir, 'info.pkl'), 'rb'))[-1]self.showIntroduction(intro)'''数据更新'''def update(self):crawler_handle = SucculentCrawler()while True:self.tip_label.setText('数据状态: 正在在更新数据, 数据更新进度: %s/%s' % (crawler_handle.page_pointer + 1, len(crawler_handle.page_urls)))crawler_handle.next()if crawler_handle.page_pointer == len(crawler_handle.page_urls):breakself.tip_label.setText('数据状态: 未在更新数据, 数据更新进度: 0/0')'''在文本框里显示多肉介绍'''def showIntroduction(self, intro):self.text_result.setText('\n\n'.join(intro))'''在Label对象上显示图片'''def showLabelImage(self, imagepath):image = Image.open(imagepath).resize((300, 300), Image.ANTIALIAS)fp = io.BytesIO()image.save(fp, 'JPEG')qtimg = QtGui.QImage()qtimg.loadFromData(fp.getvalue(), 'JPEG')qtimg_pixmap = QtGui.QPixmap.fromImage(qtimg)self.show_label.setPixmap(qtimg_pixmap)'''run'''
if __name__ == '__main__':app = QApplication(sys.argv)query_demo = SucculentQuery()query_demo.show()sys.exit(app.exec_())

  3. 项目结构：
    在这里插入图片描述

这篇关于自制多肉查询工具的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1102257。

相关文章

Vue3 如何通过json配置生成查询表单

Vue3 如何通过json配置生成查询表单

《Vue3如何通过json配置生成查询表单》本文给大家介绍Vue3如何通过json配置生成查询表单,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录功能实现背景项目代码案例功能实现背景通过vue3实现后台管理项目一定含有表格功能，通常离不开表单
阅读更多...
MyBatis分页查询实战案例完整流程

MyBatis分页查询实战案例完整流程

《MyBatis分页查询实战案例完整流程》MyBatis是一个强大的Java持久层框架,支持自定义SQL和高级映射,本案例以员工工资信息管理为例,详细讲解如何在IDEA中使用MyBatis结合Page... 目录1. MyBATis框架简介2. 分页查询原理与应用场景2.1 分页查询的基本原理2.1.1 分
阅读更多...
Python实战之SEO优化自动化工具开发指南

Python实战之SEO优化自动化工具开发指南

《Python实战之SEO优化自动化工具开发指南》在数字化营销时代,搜索引擎优化（SEO）已成为网站获取流量的重要手段,本文将带您使用Python开发一套完整的SEO自动化工具,需要的可以了解下... 目录前言项目概述技术栈选择核心模块实现1. 关键词研究模块2. 网站技术seo检测模块3. 内容优化分析模
阅读更多...
Java实现复杂查询优化的7个技巧小结

Java实现复杂查询优化的7个技巧小结

《Java实现复杂查询优化的7个技巧小结》在Java项目中,复杂查询是开发者面临的“硬骨头”,本文将通过7个实战技巧,结合代码示例和性能对比,手把手教你如何让复杂查询变得优雅,大家可以根据需求进行选择... 目录一、复杂查询的痛点：为何你的代码“又臭又长”1.1冗余变量与中间状态1.2重复查询与性能陷阱1.
阅读更多...
MySQL中查询和展示LONGBLOB类型数据的技巧总结

MySQL中查询和展示LONGBLOB类型数据的技巧总结

《MySQL中查询和展示LONGBLOB类型数据的技巧总结》在MySQL中LONGBLOB是一种二进制大对象（BLOB）数据类型,用于存储大量的二进制数据,：本文主要介绍MySQL中查询和展示LO... 目录前言1. 查询 LONGBLOB 数据的大小2. 查询并展示 LONGBLOB 数据2.1 转换为十
阅读更多...
使用SpringBoot+InfluxDB实现高效数据存储与查询

使用SpringBoot+InfluxDB实现高效数据存储与查询

《使用SpringBoot+InfluxDB实现高效数据存储与查询》InfluxDB是一个开源的时间序列数据库,特别适合处理带有时间戳的监控数据、指标数据等,下面详细介绍如何在SpringBoot项目... 目录1、项目介绍2、 InfluxDB 介绍3、Spring Boot 配置 InfluxDB4、I
阅读更多...
Go语言使用Gin处理路由参数和查询参数

Go语言使用Gin处理路由参数和查询参数

《Go语言使用Gin处理路由参数和查询参数》在WebAPI开发中,处理路由参数（PathParameter）和查询参数（QueryParameter）是非常常见的需求,下面我们就来看看Go语言... 目录一、路由参数 vs 查询参数二、Gin 获取路由参数和查询参数三、示例代码四、运行与测试1. 测试编程路
阅读更多...
MySQL 数据库表与查询操作实战案例

MySQL 数据库表与查询操作实战案例

《MySQL数据库表与查询操作实战案例》本文将通过实际案例,详细介绍MySQL中数据库表的设计、数据插入以及常用的查询操作,帮助初学者快速上手,感兴趣的朋友跟随小编一起看看吧... 目录mysql 数据库表操作与查询实战案例项目一：产品相关数据库设计与创建一、数据库及表结构设计二、数据库与表的创建项目二：员
阅读更多...
Linux查询服务器 IP 地址的命令详解

Linux查询服务器 IP 地址的命令详解

《Linux查询服务器IP地址的命令详解》在服务器管理和网络运维中,快速准确地获取服务器的IP地址是一项基本但至关重要的技能,下面我们来看看Linux中查询服务器IP的相关命令使用吧... 目录一、hostname 命令：简单高效的 IP 查询工具命令详解实际应用技巧注意事项二、ip 命令：新一代网络配置全
阅读更多...
Linux查询服务器系统版本号的多种方法

Linux查询服务器系统版本号的多种方法

《Linux查询服务器系统版本号的多种方法》在Linux系统管理和维护工作中,了解当前操作系统的版本信息是最基础也是最重要的操作之一,系统版本不仅关系到软件兼容性、安全更新策略,还直接影响到故障排查和... 目录一、引言：系统版本查询的重要性二、基础命令解析：cat /etc/Centos-release详
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2