Python爬虫第二章（HTMl文件，CSS语言与第三方库Beautiful Soup）

2024-03-10 00:12
文章标签 python 语言 css html 爬虫 第三方 frontend 第二章 beautiful soup

本文主要是介绍Python爬虫第二章（HTMl文件，CSS语言与第三方库Beautiful Soup），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 一、前置知识
  • 二、HTMl文件结构
  • 三、HTML常用标签
  • 四、CSS
  • 五、CSS基础语法
  • 六、一个简单网页模板
  • 七、BeautifulSoup库
  • 八、查找标签
  • 九、获取标签的属性和文本

欢迎大家阅读这篇关于BeautifulSoup的博客。在互联网信息爆炸的时代，获取和处理网络数据显得尤为重要。BeautifulSoup是一个强大的Python库，它能够帮助我们轻松地从网页获取所需信息。无论你是数据分析师，还是网络爬虫开发者，这个库都将成为你工具箱中的利器。
在开始本次的学习之前，我们会先介绍一些前置知识，包括HTML的基础、CSS的运用，以便能让你更好地理解BeautifulSoup的工作原理。随着本教程的深入，你将学习到如何通过BeautifulSoup和其它相关库，如requests，提取和处理您感兴趣的网络内容。

一、前置知识

html
HTML，全称为超文本标记语言(HyperText Markup Language)，是用于创建网页的标准标记语言。它描述和定义了网页内容的结构。本教程将简介HTML的基础知识。
什么是HTML
HTML不是一门编程语言, 而是一种标记语言。编程语言是用于创建程序和应用的，而标记语言是为了呈现给用户眼前的数据和布局。HTML使用标记来注明文档中应如何显示哪些元素。

一个HTML标记包含了元素名称以及两种尖括号。这些元素通常成对出现，分为开始标记和结束标记

二、HTMl文件结构

HTML文件通常有以下结构:

<!DOCTYPE html>
<html><head><title>Page Title</title></head><body><h1>My First Heading</h1><p>My first paragraph.</p></body>
</html><!DOCTYPE html>: 这个声明帮助浏览器正确的显示网页
<html>: 这个元素包含了整个HTML文档
<head>: 这个元素包含了文档的元信息，比如文档的标题。元信息不会被显示在页面中
<title>: 指定了网页的标题，这个标题会被显示在浏览器的标题栏或者标签页上
<body>: 这个元素包含了网页的全部内容，比如文本，图片，音频等

三、HTML常用标签

以下是一些基础常用的HTML标签：

<h1>到<h6>: 用于定义6级不同大小的标题，<h1>最大，<h6>最小
<p>: 用于定义段落
<br>: 插入一个换行符
<a href="url">: 用于创建链接
<img src="image.jpg" alt="My Image">: 用于插入图像
<div>: 用于把文档分割为独立的部分。它可以用来组合其他HTML元素
<video>:用于添加视频<video controls><source src="movie.mp4" type="video/mp4"><source src="movie.ogg" type="video/ogg">Your browser does not support the video tag.
</video>

以上这些只是一部分基本的HTML元素，实际上HTML还有更多其它元素和属性。

四、CSS

CSS（层叠样式表）是一种样式表语言。让html变得更好看的语言。

什么是CSS？
CSS是"Cascading Style Sheets"的缩写，用于控制网页元素的样式和布局。它可以将样式应用于HTML元素，使我们可以控制元素的颜色，字体，大小，布局等。

如何使用CSS？
CSS可以以三种方式加入到HTML中：

内部样式表：在部分中使用

<head>
<style>
p {color: red;
}
</style>
</head>

五、CSS基础语法

CSS的基本语法由两部分组成：选择器和声明块。
在这里插入图片描述
CSS Syntax
选择器指向你想要样式化的HTML元素。
声明块包含一个或多个声明。每个声明由一个属性和一个值组成，属性和值之间用冒号分隔，每个声明用分号结束。
常用CSS属性
以下是一些CSS属性的示例：

color: 可以设置文本颜色。例如：

color: 可以设置文本颜色。例如：p {color: red;
}
以上代码将把所有<p>标签的字体颜色设置为红色。font-size: 用来设置文本的字体大小。例如：p {font-size: 20px;
}
以上代码将把所有<p>标签的font-size设置为20像素。background-color: 用来设置元素的背景色。例如：body {background-color: lightblue;
}
以上代码将背景色设置为浅蓝色。margin: 用来设置元素的外边距。例如：p {margin: 10px;
}
以上代码将所有<p>标签的margin设置为10像素。padding: 用来设置元素的内边距。例如：p {padding: 10px;
}
以上代码将所有<p>标签的padding设置为10像素。border: 用来设置元素的边框。例如：p {border: 1px solid black;
}

以上代码将把所有

标签的border设置为1像素的黑色实线边框。

六、一个简单网页模板

<!DOCTYPE html>
<html>
<head>
<title>我的第一个网页</title>
<style>
h1{
color:red;
font-size: 200px;
}body {background-color: lightblue;
}
</style>
</head>
<body>
<h1>这是我的网页</h1>
<a href="https://www.baidu.com"> <img src="image.jpg"></a>
<video controls>
<source src="demo.mp4" type="video/mp4">
</video>
</body></html>

七、BeautifulSoup库

BeautifulSoup是一个Python库，用于从网页抓取数据。它通过对HTML和XML的解析，使得网络数据的抽取变得很容易。
安装 Beautiful Soup

pip install beautifulsoup4

导入库并处理网页
在Python中，第一步就是导入你想要使用的库。这里，我们同时还需要用到另外一个库-requests，用于从网页获取HTML。

from bs4 import BeautifulSoup
import requests

接着，我们使用requests库获取网页HTML，然后将其传递给BeautifulSoup。

url = 'https://www.thepaper.cn/newsDetail_forward_26425054'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

BeautifulSoup 提供了几种不同的解析器，主要用于解析HTML/XML等标记语言：

1.html.parser：这是标准库中的HTML解析器，即不需要安装任何额外的库就可以使用。虽然速度略慢，但可以满足大部分简单的HTML解析需求。

2.lxml：这是一个非常高效的库，可以处理HTML和XML。相比于html.parser，它通常要更快，也更强大。但这是一个外部库，所以使用之前需要安装：pip install lxml

3.html5lib：这个解析器更多地把HTML看作为浏览器所看到的一类文档，并确保象浏览器一样处理它。比如没有闭合的标签，浏览器也会正常解析，而html5lib同样可以处理。但它的速度比另外两种解析器慢。这也是一个外部库，使用之前需要安装：pip install html5lib

你可以选择其中任何一种解析器，只需在创建BeautifulSoup对象时，将它的名字作为第二个参数：

from bs4 import BeautifulSoupsoup = BeautifulSoup(html_doc, 'html.parser')
# or
soup = BeautifulSoup(html_doc, 'lxml')
# or
soup = BeautifulSoup(html_doc, 'html5lib')

在选择解析器时，建议优先使用lxml，因为它速度快，功能丰富。如果lxml不能使用，那么可以使用内建的html.parser，如果都不能使用，那就选用html5lib。

以上三种解析器都符合 Beautiful Soup 的解析器规范，可以互换使用，不会改变你在 Beautiful Soup 4.4.0 新增加的那段代码应该如何运行的事实。

八、查找标签

BeautifulSoup提供了许多功能，使得查找特定HTML标签变得非常简单，例如我们想找到所有的段落标签

:

paragraphs = soup.find_all('p')

这将会返回一个包含所有

标签的列表。你可以通过遍历这个列表来操作每一个标签。
在这里插入图片描述

九、获取标签的属性和文本

每个标签都可能有多个属性（例如class、id等），你可以像操作字典一样操作这些属性：

first_paragraph = paragraphs[0]
class_of_first_paragraph = first_paragraph['class']

如果你想获取标签中的文本内容，可以使用.text属性：

text_of_first_paragraph = first_paragraph.text

案例：

#进阶爬虫练习
#导库
import requests
from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36','Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9','Accept-Language': 'en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7','Accept-Encoding': 'gzip, deflate, br','DNT': "1",'Connection': 'keep-alive','Upgrade-Insecure-Requests': '1','Sec-Fetch-Site': 'none','Sec-Fetch-Mode': 'navigate','Sec-Fetch-User': '?1','Sec-Fetch-Dest': 'document'
}
#寻址
url = "https://www.thepaper.cn/newsDetail_forward_26425054"#请求
res = requests.get(url,headers=headers)#处理数据
soup = BeautifulSoup(res.text,"html.parser")#方法一
# #find单独查找，find_all查找所有
unit = soup.find("div",class_="index_cententWrap__Jv8jK")  #查找一个标签
units = soup.find_all("div",class_="index_cententWrap__Jv8jK")   #查找所有标签，返回的是一个列表# print(unit.text)for i in units:print(i.text)#打印标签的文本信息# 方法二
units = soup.select(".index_cententWrap__Jv8jK")  #通过css选择器选择，返回一个列表for i in units:print(i.text)#获取文本print(i.attrs)#获取标签的属性print(i.attrs["class"])#获取单独某个值#方法三
image = unit.img  #直接找到子标签img_src = image.attrs["src"]with open("image2.jpg","wb") as f:res = requests.get(img_src,headers=headers)f.write(res.content)

这篇关于Python爬虫第二章（HTMl文件，CSS语言与第三方库Beautiful Soup）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/792405。

相关文章

Python FastMCP构建MCP服务端与客户端的详细步骤

Python FastMCP构建MCP服务端与客户端的详细步骤

《PythonFastMCP构建MCP服务端与客户端的详细步骤》MCP（Multi-ClientProtocol）是一种用于构建可扩展服务的通信协议框架,本文将使用FastMCP搭建一个支持St... 目录简介环境准备服务端实现（server.py）客户端实现（client.py）运行效果扩展方向常见问题结
阅读更多...
详解如何使用Python构建从数据到文档的自动化工作流

详解如何使用Python构建从数据到文档的自动化工作流

《详解如何使用Python构建从数据到文档的自动化工作流》这篇文章将通过真实工作场景拆解,为大家展示如何用Python构建自动化工作流,让工具代替人力完成这些数字苦力活,感兴趣的小伙伴可以跟随小编一起... 目录一、Excel处理：从数据搬运工到智能分析师二、PDF处理：文档工厂的智能生产线三、邮件自动化：
阅读更多...
Python实现自动化Word文档样式复制与内容生成

Python实现自动化Word文档样式复制与内容生成

《Python实现自动化Word文档样式复制与内容生成》在办公自动化领域,高效处理Word文档的样式和内容复制是一个常见需求,本文将展示如何利用Python的python-docx库实现... 目录一、为什么需要自动化 Word 文档处理二、核心功能实现：样式与表格的深度复制1. 表格复制（含样式与内容）2
阅读更多...
python获取cmd环境变量值的实现代码

python获取cmd环境变量值的实现代码

《python获取cmd环境变量值的实现代码》：本文主要介绍在Python中获取命令行（cmd）环境变量的值,可以使用标准库中的os模块,需要的朋友可以参考下... 前言全局说明在执行py过程中，总要使用到系统环境变量一、说明1.1 环境:Windows 11 家庭版 24H2 26100.4061
阅读更多...
Python中文件读取操作漏洞深度解析与防护指南

Python中文件读取操作漏洞深度解析与防护指南

《Python中文件读取操作漏洞深度解析与防护指南》在Web应用开发中,文件操作是最基础也最危险的功能之一,这篇文章将全面剖析Python环境中常见的文件读取漏洞类型,成因及防护方案,感兴趣的小伙伴可... 目录引言一、静态资源处理中的路径穿越漏洞1.1 典型漏洞场景1.2 os.path.join()的陷
阅读更多...
Python数据分析与可视化的全面指南(从数据清洗到图表呈现)

Python数据分析与可视化的全面指南(从数据清洗到图表呈现)

《Python数据分析与可视化的全面指南(从数据清洗到图表呈现)》Python是数据分析与可视化领域中最受欢迎的编程语言之一,凭借其丰富的库和工具,Python能够帮助我们快速处理、分析数据并生成高质... 目录一、数据采集与初步探索二、数据清洗的七种武器1. 缺失值处理策略2. 异常值检测与修正3. 数据
阅读更多...
Python中bisect_left 函数实现高效插入与有序列表管理

Python中bisect_left 函数实现高效插入与有序列表管理

《Python中bisect_left函数实现高效插入与有序列表管理》Python的bisect_left函数通过二分查找高效定位有序列表插入位置,与bisect_right的区别在于处理重复元素时... 目录一、bisect_left 基本介绍1.1 函数定义1.2 核心功能二、bisect_left 与
阅读更多...
Python使用Tkinter打造一个完整的桌面应用

Python使用Tkinter打造一个完整的桌面应用

《Python使用Tkinter打造一个完整的桌面应用》在Python生态中,Tkinter就像一把瑞士军刀,它没有花哨的特效,却能快速搭建出实用的图形界面,作为Python自带的标准库,无需安装即可... 目录一、界面搭建：像搭积木一样组合控件二、菜单系统：给应用装上“控制中枢”三、事件驱动：让界面“活”
阅读更多...
VSCode设置python SDK路径的实现步骤

VSCode设置python SDK路径的实现步骤

《VSCode设置pythonSDK路径的实现步骤》本文主要介绍了VSCode设置pythonSDK路径的实现步骤,包括命令面板切换、settings.json配置、环境变量及虚拟环境处理,具有一定... 目录一、通过命令面板快速切换（推荐方法）二、通过 settings.json 配置（项目级/全局）三、
阅读更多...
Python struct.unpack() 用法及常见错误详解

Python struct.unpack() 用法及常见错误详解

《Pythonstruct.unpack()用法及常见错误详解》struct.unpack()是Python中用于将二进制数据（字节序列）解析为Python数据类型的函数,通常与struct.pa... 目录一、函数语法二、格式字符串详解三、使用示例示例 1：解析整数和浮点数示例 2：解析字符串示例 3：解
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2