来自于一篇【关于Python的requests中text中文乱码的问题】的思考?

2024-06-09 00:58

本文主要是介绍来自于一篇【关于Python的requests中text中文乱码的问题】的思考?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

背景:使用requests做http协议的接口请求时,对响应结果text的编码问题:出现中文乱码,如何处理中文输出?

实践:请求百度!

import requestsdo_http=requests.session()
res=do_http.request('get','http://www.baidu.com')print(res.text)

结果输出如下:<title>ç¾åº¦ä¸ä¸ï¼ä½ å°±ç¥é</title>,这是百度的title

分析原因:网上说的一堆,比较繁琐,无非就是什么先encode再decode,那你为什么不用content属性呢?非得text?先看response.content属性的源码,它是响应报文的二进制编码,如果获取响应的encoding是None(实现原理:根据请求去检查响应报文content-type中匹配拆分是否有charset字段,如果没有就使用chardet猜一个编码值,百度网页的默认编码是'utf-8':

"""Content of the response, in unicode.If Response.encoding is None, encoding will be guessed using``chardet``.The encoding of the response content is determined based solely on HTTPheaders, following RFC 2616 to the letter. If you can take advantage ofnon-HTTP knowledge to make a better guess at the encoding, you shouldset ``r.encoding`` appropriately before accessing this property."""# Try charset from content-type

所以print(res.encoding)必然输出:IOS-8859-1,下面解释为什么不是utf-8?

分析requests的源代码发现,r.text返回的是处理过的Unicode型的数据,而使用r.content返回的是bytes型的原始数据。
也就是说,r.content相对于r.text来说节省了计算资源,r.content是把内容bytes返回. 而r.text是decode成Unicode. 
如果headers没有charset字符集的化,text()会调用chardet来计算字符集,这又是消耗cpu的事情.

那么如何来解决这个text编码的问题呢?从源码得知requests的默认编码是:IOS-8859-1,不懂?没关系,作者也不懂!(Latin-1或者叫西欧语言),requests请求时上面说了会去拿网页的编码,如果没有就使用自己chardet计算出来的。

但是很奇怪,明明得知自己访问的网站编码格式是utf-8,为什么输出还是requests自身的编码?即使是content也得不到正确的中文(下一篇我们再来看其中的源码关键)。

所以为了解决上面的问题,不得不通过encoding来改变它:res.encoding='utf-8',这时content正确了,text的问题仍没有解决?

前面又说了,text是编码后的unicode,所以要反过来编码encode一下,再解码decode,得到中文输出,代码如下:

# 使用requests库发起http请求,遇到字符编码的问题
import requestsdo_http=requests.session()
res=do_http.request('get','http://www.baidu.com')
# 每个网址使用的字符编码不一定相同,所以需要事先查看源码:charset=utf-8还是gbk,如果是gbk再使用encoding是会报错的
res.encoding='utf-8' # 网页是啥编码这里就是啥编码
# 网上也有一些解决办法:先decode再encode,然而貌似并可行,所说的应该适用于content这个属性
# print(res)
# print(res.status_code)
# print(res.content.decode())
# 编码再解码
print(res.text.encode().decode())

tips:这里调用编码解码的方法我使用了其自带的默认参数:encoding=utf-8,所以看到的是空括号。

这下结果可以正常输出:<title>百度一下,你就知道</title>

**日拱一卒无有尽,功不唐捐终入海!**

这篇关于来自于一篇【关于Python的requests中text中文乱码的问题】的思考?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1043813

相关文章

使用python生成固定格式序号的方法详解

《使用python生成固定格式序号的方法详解》这篇文章主要为大家详细介绍了如何使用python生成固定格式序号,文中的示例代码讲解详细,具有一定的借鉴价值,有需要的小伙伴可以参考一下... 目录生成结果验证完整生成代码扩展说明1. 保存到文本文件2. 转换为jsON格式3. 处理特殊序号格式(如带圈数字)4

一篇文章彻底搞懂macOS如何决定java环境

《一篇文章彻底搞懂macOS如何决定java环境》MacOS作为一个功能强大的操作系统,为开发者提供了丰富的开发工具和框架,下面:本文主要介绍macOS如何决定java环境的相关资料,文中通过代码... 目录方法一:使用 which命令方法二:使用 Java_home工具(Apple 官方推荐)那问题来了,

Python版本信息获取方法详解与实战

《Python版本信息获取方法详解与实战》在Python开发中,获取Python版本号是调试、兼容性检查和版本控制的重要基础操作,本文详细介绍了如何使用sys和platform模块获取Python的主... 目录1. python版本号获取基础2. 使用sys模块获取版本信息2.1 sys模块概述2.1.1

一文详解Python如何开发游戏

《一文详解Python如何开发游戏》Python是一种非常流行的编程语言,也可以用来开发游戏模组,:本文主要介绍Python如何开发游戏的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下... 目录一、python简介二、Python 开发 2D 游戏的优劣势优势缺点三、Python 开发 3D

Python函数作用域与闭包举例深度解析

《Python函数作用域与闭包举例深度解析》Python函数的作用域规则和闭包是编程中的关键概念,它们决定了变量的访问和生命周期,:本文主要介绍Python函数作用域与闭包的相关资料,文中通过代码... 目录1. 基础作用域访问示例1:访问全局变量示例2:访问外层函数变量2. 闭包基础示例3:简单闭包示例4

IDEA和GIT关于文件中LF和CRLF问题及解决

《IDEA和GIT关于文件中LF和CRLF问题及解决》文章总结:因IDEA默认使用CRLF换行符导致Shell脚本在Linux运行报错,需在编辑器和Git中统一为LF,通过调整Git的core.aut... 目录问题描述问题思考解决过程总结问题描述项目软件安装shell脚本上git仓库管理,但拉取后,上l

Python实现字典转字符串的五种方法

《Python实现字典转字符串的五种方法》本文介绍了在Python中如何将字典数据结构转换为字符串格式的多种方法,首先可以通过内置的str()函数进行简单转换;其次利用ison.dumps()函数能够... 目录1、使用json模块的dumps方法:2、使用str方法:3、使用循环和字符串拼接:4、使用字符

Python版本与package版本兼容性检查方法总结

《Python版本与package版本兼容性检查方法总结》:本文主要介绍Python版本与package版本兼容性检查方法的相关资料,文中提供四种检查方法,分别是pip查询、conda管理、PyP... 目录引言为什么会出现兼容性问题方法一:用 pip 官方命令查询可用版本方法二:conda 管理包环境方法

基于Python开发Windows自动更新控制工具

《基于Python开发Windows自动更新控制工具》在当今数字化时代,操作系统更新已成为计算机维护的重要组成部分,本文介绍一款基于Python和PyQt5的Windows自动更新控制工具,有需要的可... 目录设计原理与技术实现系统架构概述数学建模工具界面完整代码实现技术深度分析多层级控制理论服务层控制注

idea npm install很慢问题及解决(nodejs)

《ideanpminstall很慢问题及解决(nodejs)》npm安装速度慢可通过配置国内镜像源(如淘宝)、清理缓存及切换工具解决,建议设置全局镜像(npmconfigsetregistryht... 目录idea npm install很慢(nodejs)配置国内镜像源清理缓存总结idea npm in