python第二十四天

本文主要是介绍python第二十四天，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

rom bs4 import BeautifulSoup
import requests# 1.html页面解析的方法
"""
1)正则表达式     -   出神入化的正则；不懂前端（re）
2）通过css选择器选中标签      -   熟悉css选择器；熟悉jQuery（bs4，pyQuery）
3）通过xPath获取标签       -   熟悉HTML结构和标签（lxml）
"""# 准备数据
def get_data():with open('files/安居客.html', encoding='utf-8') as f:return f.read()# 2.bs4的使用
# 1)根据网页内容创建解析器对象
# BeautifulSoup（网页内容，解析器类型）
# 网页内容  -   html格式的字符串；一般是通过requests或者selenium去页面数据
soup = BeautifulSoup(get_data(), 'lxml')
print(type(soup))# 2)根据css选择器获取标签
"""
bs对象.select(css选择器)  -  获取选择器选中的所有标签
bs对象.select_one(css选择器)  -  获取选择器选中的第一个标签
"""
houses_name_els = soup.select('.items-name')
print(houses_name_els)houses_details = soup.select('.favor-pos')# 3）获取标签内容和属性
# a.标签内容
# 标签对象.string
# 标签对象.get_text()
# 标签对象.contentsfor item in houses_name_els:print(item.string)   # None# print(item.get_text())   # 新盘多弗成都奥特莱斯# print(item.contents)   # [<span>新盘</span>, '多弗成都奥特莱斯']# b.标签属性值
# 标签对象.attrs[属性名]
# print(houses_details)
for x in houses_details:print(x.attrs['href'])# 练习：获取价格和图片
print('=============================')
houses_price = soup.select('.price')
for x in houses_price:print(x.get_text())houses_img = soup.select('.pic>img')
for x in houses_img:print(x.attrs['src'])print('=====================================')
# 4)根据内容获取标签
# a.find_all(attrs={属性1:属性值1,属性2:属性值2,...})   -   获取指定属性是指定值的所有标签
# 获取height属性是135的标签
result = soup.find_all(attrs={'height': '135'})
print(result)# 获取class属性是c1并且type属性是password的标签
result = soup.find_all(attrs={'class': 'c1', 'type': 'password'})
print(result)

from pyquery import PyQuerydef get_data():with open('files/安居客.html', encoding='utf-8') as f:return f.read()# 1.创建PyQuery对象
# PyQuery(html格式的字符串)
doc = PyQuery(get_data())# 2.获取标签
# PyQuery对象(标签对象（css选择器）)   -   选中css选择器选中的标签，返回PyQuery对象
names = doc('.items-name')
print(names)# 3.获取标签内容
# PyQuery对象.text()
# 直接操作pyQuery对象会直接作用于这个对象中所有的标签
print(names.text())# 遍历pyQuery对象得到的是这个容器中的每个标签
for x in names:# x -   标签# pyQuery(x)    -   标签对应的jQuery对象print(x, PyQuery(x).text())# 4.获取标签属性
# 1）value属性
# PyQuery对象.val()# 2）普通属性
# PyQuery对象.attr(属性名)   -   取第一个属性值
result = doc('.pic>img')
for x in result:print(PyQuery(x).attr('src'))

import requests
from tools import get_ip
import time
from pyquery import PyQuerydef get_data():"""获取首页楼盘列表的数据"""while True:ips = get_ip()if not ips:time.sleep(1)continueurl = 'https://cd.fang.anjuke.com/'proxy = {'http': ips[0],'https': ips[1]}response = requests.get(url, proxies=proxy)if response.status_code == 200:analysis_data(response.text)returnelse:print('请求失败!', response)time.sleep(1)continuedef analysis_data(data):"""解析首页数据，拿到每个楼盘详情页的地址"""print('解析数据!')doc = PyQuery(data)a_tags = doc('.item-mod>.pic')for a in a_tags:url = PyQuery(a).attr('href')get_detail_page(url)def get_detail_page(url):"""获取详情页数据"""while True:ips = get_ip()if not ips:continueproxy = {'http': ips[0],'https': ips[1]}response = requests.get(url, proxies=proxy)if response.status_code == 200:print('================================================')print(response.text)returnelse:print('请求失败!', response)if __name__ == '__main__':get_data()

这篇关于python第二十四天的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---