【python--用pyppeteer爬取知乎中个人回答内容,出现点击个人头像不跳转的问题,如何解决】

本文主要是介绍【python--用pyppeteer爬取知乎中个人回答内容,出现点击个人头像不跳转的问题,如何解决】,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

代码如下:

import asyncio
import pyppeteer as pyp
async def antiAntiCrawler(page):await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36')await page.evaluateOnNewDocument('()=>{Object.defineProperties(navigotor,\{webdriver:{get:()=>false}})}')#反爬虫设置
async def getOjSourceCode(loginUrl):width,height=1200,800browser=await pyp.launch(headless=False,    #browser伪装成浏览器并且自动打开userdataDir="E:/python代码/图片爬虫",args=[f'--window-size={width},{height}'])page=await browser.newPage()#浏览器生成后创建一个新的页面await antiAntiCrawler(page)await page.setViewport({'width':width,'height':height})await page.goto(loginUrl)  # 浏览器在登录页面,输入登录      
# #若手动登录,则以下若干行可以去掉# element=await  page.querySelector("#root > div > main > div > div > div > div > div.SignContainer-content > div > div:nth-child(1) > form > div.SignFlow-account > div > label > input")# await element.type("xxxx")# element=await page.querySelector("#root > div > main > div > div > div > div > div.SignContainer-content > div > div:nth-child(1) > form > div.SignFlow-password > div > div")# await element.type("xxxx")# element=await page.querySelector("#root > div > main > div > div > div > div > div.SignContainer-content > div > div:nth-child(1) > form > button")# await element.click()#做等待,等待click的操作时间await page.waitForSelector("#root > div > div:nth-child(2) > header > div.AppHeader-inner.css-qqgmyv > ul > li:nth-child(5) > a",timeout=40000)#等待"回答问题"出现,timeout=30000,毫秒,如果等待时间太久没有出现回答问题的界面,程序不能进行下去设置的时间限制element=await page.querySelector("#Popover15-toggle")#找个人头像await element.click()#点击await page.waitForSelector("#Popover15-content > div > a:nth-child(1)")#等待”我的主页“element = await page.querySelector("#Popover15-content > div > a:nth-child(1)")await element.click()#点击await page.waitForFunction()#等待网页装入完毕element=await  page.querySelectorAll(".ContentItem-title")page2=await browser.newPage()#新打开一个页面await antiAntiCrawler(page2)for element in element[:10]:obj=await element.getProperty("href")url=await obj.jsonValue()await page2.goto(url)element=await element.getProperty("span")#查找span tagobj=await element.getProperty("innerText")text=await obj.jsonValue()print(text)print("-----------------")await browser.close()
def main():url="https://www.zhihu.com/"asyncio.get_event_loop().run_until_complete(getOjSourceCode(url))
main()
出现的问题:

 需要点击的内容:

点击后出现:

但是点击错误,不知道为啥,有没有大佬能帮帮忙啊 

 

这篇关于【python--用pyppeteer爬取知乎中个人回答内容,出现点击个人头像不跳转的问题,如何解决】的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/701845

相关文章

Django开发时如何避免频繁发送短信验证码(python图文代码)

《Django开发时如何避免频繁发送短信验证码(python图文代码)》Django开发时,为防止频繁发送验证码,后端需用Redis限制请求频率,结合管道技术提升效率,通过生产者消费者模式解耦业务逻辑... 目录避免频繁发送 验证码1. www.chinasem.cn避免频繁发送 验证码逻辑分析2. 避免频繁

精选20个好玩又实用的的Python实战项目(有图文代码)

《精选20个好玩又实用的的Python实战项目(有图文代码)》文章介绍了20个实用Python项目,涵盖游戏开发、工具应用、图像处理、机器学习等,使用Tkinter、PIL、OpenCV、Kivy等库... 目录① 猜字游戏② 闹钟③ 骰子模拟器④ 二维码⑤ 语言检测⑥ 加密和解密⑦ URL缩短⑧ 音乐播放

python panda库从基础到高级操作分析

《pythonpanda库从基础到高级操作分析》本文介绍了Pandas库的核心功能,包括处理结构化数据的Series和DataFrame数据结构,数据读取、清洗、分组聚合、合并、时间序列分析及大数据... 目录1. Pandas 概述2. 基本操作:数据读取与查看3. 索引操作:精准定位数据4. Group

Python pandas库自学超详细教程

《Pythonpandas库自学超详细教程》文章介绍了Pandas库的基本功能、安装方法及核心操作,涵盖数据导入(CSV/Excel等)、数据结构(Series、DataFrame)、数据清洗、转换... 目录一、什么是Pandas库(1)、Pandas 应用(2)、Pandas 功能(3)、数据结构二、安

Python使用Tenacity一行代码实现自动重试详解

《Python使用Tenacity一行代码实现自动重试详解》tenacity是一个专为Python设计的通用重试库,它的核心理念就是用简单、清晰的方式,为任何可能失败的操作添加重试能力,下面我们就来看... 目录一切始于一个简单的 API 调用Tenacity 入门:一行代码实现优雅重试精细控制:让重试按我

Springboot项目启动失败提示找不到dao类的解决

《Springboot项目启动失败提示找不到dao类的解决》SpringBoot启动失败,因ProductServiceImpl未正确注入ProductDao,原因:Dao未注册为Bean,解决:在启... 目录错误描述原因解决方法总结***************************APPLICA编

Python安装Pandas库的两种方法

《Python安装Pandas库的两种方法》本文介绍了三种安装PythonPandas库的方法,通过cmd命令行安装并解决版本冲突,手动下载whl文件安装,更换国内镜像源加速下载,最后建议用pipli... 目录方法一:cmd命令行执行pip install pandas方法二:找到pandas下载库,然后

Python实现网格交易策略的过程

《Python实现网格交易策略的过程》本文讲解Python网格交易策略,利用ccxt获取加密货币数据及backtrader回测,通过设定网格节点,低买高卖获利,适合震荡行情,下面跟我一起看看我们的第一... 网格交易是一种经典的量化交易策略,其核心思想是在价格上下预设多个“网格”,当价格触发特定网格时执行买

Python标准库之数据压缩和存档的应用详解

《Python标准库之数据压缩和存档的应用详解》在数据处理与存储领域,压缩和存档是提升效率的关键技术,Python标准库提供了一套完整的工具链,下面小编就来和大家简单介绍一下吧... 目录一、核心模块架构与设计哲学二、关键模块深度解析1.tarfile:专业级归档工具2.zipfile:跨平台归档首选3.

使用Python构建智能BAT文件生成器的完美解决方案

《使用Python构建智能BAT文件生成器的完美解决方案》这篇文章主要为大家详细介绍了如何使用wxPython构建一个智能的BAT文件生成器,它不仅能够为Python脚本生成启动脚本,还提供了完整的文... 目录引言运行效果图项目背景与需求分析核心需求技术选型核心功能实现1. 数据库设计2. 界面布局设计3