爬虫案例—抓取找歌词网站的按歌词找歌名数据

2024-01-22 10:04

本文主要是介绍爬虫案例—抓取找歌词网站的按歌词找歌名数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

爬虫案例—抓取找歌词网站的按歌词找歌名数据

找个词网址:https://www.91ge.cn/lxyyplay/find/

目标:抓取页面里的所有要查的歌词及歌名等信息,并存为txt文件

一共46页数据

网站截图如下:

Screenshot 2024-01-21 at 20.03.39

抓取完整歌词数据,如下图:

Screenshot 2024-01-21 at 20.04.26

源码如下:

import asyncio
import time
import aiohttp
from aiohttp import TCPConnector  # 处理ssl验证报错
from lxml import etreeheaders = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}# 返回每首歌的href函数
async def get_song_url(page_url):async with aiohttp.ClientSession(headers=headers, connector=TCPConnector(ssl=False)) as session:async with session.get(page_url) as res:html = await res.text()tree = etree.HTML(html)url_lst = tree.xpath('//div[@class="des"]/a/@href')return url_lst# 获取每首歌的详细信息
async def get_song_word(song_url):async with aiohttp.ClientSession(headers=headers, connector=TCPConnector(ssl=False)) as session:async with session.get(song_url) as res:html = await res.text()tree = etree.HTML(html)if tree is not None:song_question = tree.xpath('//div[@class="logbox"]')if song_question:song_q = song_question[0].xpath('./h1/text()')[0]else:passdiv_word = tree.xpath('//div[@class="logcon"]')if div_word:where_song = div_word[0].xpath('./h2[1]/text()')[0]question_song = div_word[0].xpath('./p[1]/text()')[0]answer_song = div_word[0].xpath('./p[2]/text()')[0]song_words = div_word[0].xpath('./p[position()>2]//text()')# song_name = div_word.xpath('./h2[2]/text()')[0].strip('\r\n\t')song_words = ''.join(song_words[:-1]).strip('\r\n\t')with open(f'songs/{song_q}.txt', 'a') as f:f.write(where_song + '\n' + question_song + '\n' + answer_song + '\n\n' + song_words)else:passif __name__ == '__main__':t1 = time.time()loop = asyncio.get_event_loop()for n in range(1, 47):song_url = f'https://www.91ge.cn/lxyyplay/find/list_16_{n}.html'urls = loop.run_until_complete(get_song_url(song_url))tasks = [get_song_word(url) for url in urls]loop.run_until_complete(asyncio.gather(*tasks))print(f'耗时:{time.time() - t1:.2f}秒')

运行结果如下图:

Screenshot 2024-01-21 at 20.08.09

利用协程抓取数据,效率很高。

这篇关于爬虫案例—抓取找歌词网站的按歌词找歌名数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/632638

相关文章

MySQL 临时表与复制表操作全流程案例

《MySQL临时表与复制表操作全流程案例》本文介绍MySQL临时表与复制表的区别与使用,涵盖生命周期、存储机制、操作限制、创建方法及常见问题,本文结合实例代码给大家介绍的非常详细,感兴趣的朋友跟随小... 目录一、mysql 临时表(一)核心特性拓展(二)操作全流程案例1. 复杂查询中的临时表应用2. 临时

MySQL 数据库表与查询操作实战案例

《MySQL数据库表与查询操作实战案例》本文将通过实际案例,详细介绍MySQL中数据库表的设计、数据插入以及常用的查询操作,帮助初学者快速上手,感兴趣的朋友跟随小编一起看看吧... 目录mysql 数据库表操作与查询实战案例项目一:产品相关数据库设计与创建一、数据库及表结构设计二、数据库与表的创建项目二:员

Python实现数据可视化图表生成(适合新手入门)

《Python实现数据可视化图表生成(适合新手入门)》在数据科学和数据分析的新时代,高效、直观的数据可视化工具显得尤为重要,下面:本文主要介绍Python实现数据可视化图表生成的相关资料,文中通过... 目录前言为什么需要数据可视化准备工作基本图表绘制折线图柱状图散点图使用Seaborn创建高级图表箱线图热

MySQL数据脱敏的实现方法

《MySQL数据脱敏的实现方法》本文主要介绍了MySQL数据脱敏的实现方法,包括字符替换、加密等方法,通过工具类和数据库服务整合,确保敏感信息在查询结果中被掩码处理,感兴趣的可以了解一下... 目录一. 数据脱敏的方法二. 字符替换脱敏1. 创建数据脱敏工具类三. 整合到数据库操作1. 创建服务类进行数据库

MySQL中处理数据的并发一致性的实现示例

《MySQL中处理数据的并发一致性的实现示例》在MySQL中处理数据的并发一致性是确保多个用户或应用程序同时访问和修改数据库时,不会导致数据冲突、数据丢失或数据不一致,MySQL通过事务和锁机制来管理... 目录一、事务(Transactions)1. 事务控制语句二、锁(Locks)1. 锁类型2. 锁粒

C#中的Drawing 类案例详解

《C#中的Drawing类案例详解》文章解析WPF与WinForms的Drawing类差异,涵盖命名空间、继承链、常用类及应用场景,通过案例展示如何创建带阴影圆角矩形按钮,强调WPF的轻量、可动画特... 目录一、Drawing 是什么?二、典型用法三、案例:画一个“带阴影的圆角矩形按钮”四、WinForm

Qt中实现多线程导出数据功能的四种方式小结

《Qt中实现多线程导出数据功能的四种方式小结》在以往的项目开发中,在很多地方用到了多线程,本文将记录下在Qt开发中用到的多线程技术实现方法,以导出指定范围的数字到txt文件为例,展示多线程不同的实现方... 目录前言导出文件的示例工具类QThreadQObject的moveToThread方法实现多线程QC

SpringBoot集成EasyExcel实现百万级别的数据导入导出实践指南

《SpringBoot集成EasyExcel实现百万级别的数据导入导出实践指南》本文将基于开源项目springboot-easyexcel-batch进行解析与扩展,手把手教大家如何在SpringBo... 目录项目结构概览核心依赖百万级导出实战场景核心代码效果百万级导入实战场景监听器和Service(核心

setsid 命令工作原理和使用案例介绍

《setsid命令工作原理和使用案例介绍》setsid命令在Linux中创建独立会话,使进程脱离终端运行,适用于守护进程和后台任务,通过重定向输出和确保权限,可有效管理长时间运行的进程,本文给大家介... 目录setsid 命令介绍和使用案例基本介绍基本语法主要特点命令参数使用案例1. 在后台运行命令2.

使用Python开发一个Ditto剪贴板数据导出工具

《使用Python开发一个Ditto剪贴板数据导出工具》在日常工作中,我们经常需要处理大量的剪贴板数据,下面将介绍如何使用Python的wxPython库开发一个图形化工具,实现从Ditto数据库中读... 目录前言运行结果项目需求分析技术选型核心功能实现1. Ditto数据库结构分析2. 数据库自动定位3