2020-11-06 Python----------爬取豆瓣预备知识（urllib库request，beautifulsoup）

本文主要是介绍2020-11-06 Python----------爬取豆瓣预备知识（urllib库request，beautifulsoup），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Python爬取豆瓣

Python编码规范

一般第一句加

# -*- coding: utf-8 -*-

或

# coding=utf-8

加入main函数用于测试函数

# -*- coding: utf-8 -*-
def main():print("hello")if __name__ == "_main_":   #主程序入口main()
#两个下划线name再两个下划线

#test1文件夹下t1py文件定义了一个函数，在其他文件夹下的文件调用函数
#引入自定义的模块
from test1 import t1

引入系统模块直接import

开始爬

import urllib.request# 获取一个get请求
response = urllib.request.urlopen("http://www.baidu.com")
print(response.read().decode('utf-8'))  # 对获取到的网页源码解码
print(response.getheaders())
print(response.getheaders())  #获取响应头信息
print(response.getheader("Server"))  #获取响应头信息里的server信息,去掉s

# 获取一个post请求
import urllib.request
import urllib.parsedata = bytes(urllib.parse.urlencode({"hello": "world"}), encoding="utf-8")  # data是提交post表单附加的数据，helloworld处可以放置用户名密码
response = urllib.request.urlopen("http://httpbin.org/post", data=data)  # post请求需要接受二进制文件的参数
print(response.read().decode("utf-8"))

# 超时处理,timeout是控制响应时间，否则报错
try:response = urllib.request.urlopen("http://www.baidu.com", timeout=0.01)print(response.read().decode('utf-8'))  # 对获取到的网页源码解码
except urllib.error.URLError as e:print("time  out!")

#反爬虫的伪装，伪装成浏览器
import urllib.request, urllib.errorurl = "https://www.douban.com"
headers = {"User-Agent": "Mozilla/5.0(Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36"}
req = urllib.request.Request(url=url,headers=headers)
response = urllib.request.urlopen(req)
print(response.read().decode("utf-8"))
#返回418代表伪装失败

#得到一个指定URL的网页内容
def askURL(url):head={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36"}#用户代理表示告诉豆瓣服务器我们不是爬虫，我们是浏览器request = urllib.request(url,headers=head)    #发起请求try:response = urllib.request.urlopen(request)   #获得回应print(response.read().decode('utf-8'))  # 对获取到的网页源码解码except urllib.error.URLError as e:if hasattr(e,"code"):print(e.code)if hasattr(e,"reason"):print(e.reason)return html

#Beautifulsoup功能，获取页面的标签和里面的内容，还可以获取页面整体的信息from bs4 import BeautifulSoupfile = open("./index.html", "rb")
html = file.read()
bs = BeautifulSoup(html, "html.parser")
print(bs.title)   #有标签  <title>只有百度一下你就知道<title>
print(bs.title.string)  #无标签 只有百度一下你就知道
print(type(bs.title.string))  #NavigableString类型
#还可以bs.a.attrs拿到一个标签里所有的属性，返回字典形式
print(bs.name)  #文档 打印结果[document]
print(bs)  #整个文档
print(type(bs)) #BeautifulSoup类型
print(bs.a.string)
print(type(bs.a.string)) #特殊的NavigableString类型，输出内容不包含注释

# 文档搜索
import refrom bs4 import BeautifulSoupfile = open("./index.html", "rb")
html = file.read()
bs = BeautifulSoup(html, "html.parser")# (1)find_all
# 字符串过滤：会查找与字符串完全匹配的内容
t_list = bs.find_all("a")
print(t_list)
# 正则表达式搜索：使用search（）方法来匹配内容
t_list = bs.find_all(re.compile("a"))  # 编译正则表达式# 方法：传入一个函数（方法），根据函数的要求来搜索
def name_is_exists(tag):return tag.has_attr("name")t_list = bs.find_all(name_is_exists)
for item in t_list:print(item)
# (2)kwargs   给参数而不是规则
# t_list = bs.find_all(id="head")
t_list = bs.find_all(class_=True)  # class是系统关键字要加_
t_list = bs.find_all(href="http://news.baidu.com")
for item in t_list:print(item)# (3)text参数
t_list = bs.find_all(text="hao123")
t_list = bs.find_all(text=["hao123", "地图", "贴吧"])
for item in t_list:print(item)
# (4)limit参数
t_list = bs.find_all("a", limit=3)  # 取前三个标签a，限制数
for item in t_list:print(item)# css选择器t_list=bs.select('title')  #用标签查找t_list=bs.select(".mnav")  #按类名查找，css用。表示类名t_list=bs.select("#u1")  #按id查找 css用#表示idt_list = bs.select("a[class='bri']")  # 通过属性来查找t_list = bs.select("head > title")   # 通过子标签来查找
for item in t_list:print(item)t_list = bs.select(".mnav ~ .bri")   #查找.mnav的兄弟标签.bri
print(t_list[0].get_text())

总的代码（还没存数据只是能爬html）

import bs4   #网页解析，获取数据
import re    #正则表达式，进行文字匹配
import urllib.request,urllib.error  #制定URL，获取网页数据
# import xlwt  #进行Excel操作
import sqlite3  #进行SQLite3数据库操作#爬取网页def main():baseurl="https://movie.douban.com/top250?start="#1.爬取网页dataList = getData(baseurl)savapath = ".\\豆瓣电影Top250.xls"def getData(baseurl):dataList=[]for i in range(0,10):url = baseurl + str(i*25)   #str从给定对象创建一个新的字符串对象 ,然后连接字符串html = askURL(url)
# 2.逐一解析数据return dataList
# 3.保存数据#savaDate(savepath)# askURL("https://movie.douban.com/top250")#得到一个指定URL的网页内容
def askURL(url):head={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36"}#用户代理表示告诉豆瓣服务器我们不是爬虫，我们是浏览器request = urllib.request.Request(url,headers=head)    #发起请求try:response = urllib.request.urlopen(request)   #获得回应html = response.read().decode('utf-8') # 对获取到的网页源码解码print(html)except urllib.error.URLError as e:if hasattr(e,"code"):print(e.code)if hasattr(e,"reason"):print(e.reason)return html#保存数据
def savaDate(savepath):print("save......")if __name__ == '__main__':main()