Chrome分析网页获取Bilibili弹幕

2024-03-13 03:32

本文主要是介绍Chrome分析网页获取Bilibili弹幕,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

原文地址:http://blog.csdn.net/u011327333/article/details/78690965

Chrome分析网页-一步步获取Bilibili弹幕

Chrome 提供的8大工具简介

Elements
从浏览器的视角来看页面,也就是说我们可以看到chrome渲染页面所需要的HTML,CSS和DOM(Document Object Model)对象。此外,还可以编辑这些内容更改页面的显示效果。

Netwrok
可以看到页面向服务器请求了哪些资源,资源的大小以及加载资源花费的时间;也可以看到哪些资源不能加载成功,此外还可以看到HTTP的请求头,返回内容等;

Sources
主要用来调试js

Timeline
提供了加载页面时花费时间的完整分析,所有事件,从下载资源到处理JavaScript,计算CSS样式等花费的时间都展示在Timeline中。

Profiles
分析web应用或者页面的执行时间以及内存使用情况

Resources
对本地缓存(IndexedDB,Web SQL, Cookie,应用程序缓存,Web Storage)中的数据进行确认及编辑

Audits
分析页面加载的过程,进而提供减少页面加载时间,提升响应速度的方案;

Console
显示各种警告与错误信息,并提供了shell用来和文档,开发者工具交互

启动开发者工具

Mac 上快捷键:option + command + i点击右侧一个三个竖点标志的图标  -> More tools -> Developer tools
  • 1
  • 2
  • 3

Elements元素使用

点击网页,选择观察源码和利用Elements看到的源码是不一样的。直接点击网页右键看到的源码有很多JS请求资源并没有显示,而直接显示了JS本身。以B站为例,弹幕资源和视频资源不在同一个服务器上,需要发出不同的请求。当页面加载时,会有一段JS,向弹幕服务器请求资源。如果之间右键观察源码,则只能看到该段JS,无法看到弹幕信息。但是通过Elements就可以看到。

启动开发者工具后,选中Elements(默认就是它),有两种模式可以进行元素观察。一种是鼠标点击源码,然后网页高亮选中的元素。另外一种是鼠标选中网页中的某个元素,然后程序高亮对应的代码。

在开发者工具的顶部菜单栏(注意不是浏览器顶部菜单栏)左上角,有一个箭头标志,点击它就会切换两种模式。默认开始是选中源码,高亮对应界面。

在开发者工具顶部菜单栏右上角,可以切换工具与界面显示的方式。比如上下布局,左右布局,或者开发者工具离开浏览器。

Netwrok 的使用

请求的资源类型

XHR // 记录ajax异步请求。一般通过js异步加载的资源都在这里DOC // 请求的文件,一般就是输入这个网址url获得的整体资源
  • 1
  • 2
  • 3

Netwrok可以看到网页请求了哪些资源。如果没显示,则刷新网页。下面结合一个例子来讲述该工具的使用方法。

寻找B站弹幕服务器

B站的视频网页,有很多资源展示。视频展示,弹幕展示,图片展示。这些元素并不是来自同一个服务器。如何确定弹幕服务器,以便于获取弹幕资源?

这里分析的可能并不准确。事实上我是提前知道了,B站是通过cid值来向弹幕服务器发起请求的。假如不知道是用这个值的话,不知道能否找到。

首先在Element页面下,定位弹幕,视频所在区域。发现有一个大的div包含了这两个区域。该div的id=bofqi(播放器),因为这个区域即包含视频又包含弹幕,所以肯定会有js代码在这里请求了资源。(视频资源应该是和最初的url一起请求进来的,所以这里如果有js,则很有可能是弹幕的。)

然后,点击网页右键,观察源码,定位到div的id为bofqi的区域。发现下面果然有一段script,里面包含了一个cid的值。现在只需要知道它就可以了。

然后切换到Network中,刷新一下网页。

在上面的过滤器,选择XHR,XHR表示ajax异步请求得到的资源。 
然后会找到一段xml,点开它发现就是弹幕。

找到这个xml的一点方法,

观察的工具
点击一个其中资源Name,右侧就会出现一个信息栏。信息栏上有 Headers, Preview,Response,Timing选项。点击Headers后,会看到浏览器发送请求的一些具体信息。比如请求的url地址,请求的方法Get or post,返回的状态,200,404 等。Preview则是预览请求获得的资源。

观察条件1
通过观察 Request URL,可以过滤掉很多无效的资源。比如static开头的服务器地址,或者是请求的url特别长。一般图片素材等可能放到static命名的服务器里。结合弹幕的英文,侧重观察,comments,danmu 等词语命名的服务器url。

观察条件2
然后,考虑到弹幕的组成形式,很可能是一个json串或者是一个xml。因为它就是一个文本文件。

结合上述两个观察条件,一般能较快的定位到所需元素。

最后,发现以cid命名的一个xml文件里,包含的就是弹幕址。 
其请求的服务器url是:http://comment.bilibili.com/12918727.xml

后面那串数字就是cid。

所以知道通过网页端,知道了cid,就能得到向弹幕服务器发起请求的url,也就能获得相应的弹幕。


这篇关于Chrome分析网页获取Bilibili弹幕的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/803519

相关文章

Nginx分布式部署流程分析

《Nginx分布式部署流程分析》文章介绍Nginx在分布式部署中的反向代理和负载均衡作用,用于分发请求、减轻服务器压力及解决session共享问题,涵盖配置方法、策略及Java项目应用,并提及分布式事... 目录分布式部署NginxJava中的代理代理分为正向代理和反向代理正向代理反向代理Nginx应用场景

Python版本信息获取方法详解与实战

《Python版本信息获取方法详解与实战》在Python开发中,获取Python版本号是调试、兼容性检查和版本控制的重要基础操作,本文详细介绍了如何使用sys和platform模块获取Python的主... 目录1. python版本号获取基础2. 使用sys模块获取版本信息2.1 sys模块概述2.1.1

Redis中的有序集合zset从使用到原理分析

《Redis中的有序集合zset从使用到原理分析》Redis有序集合(zset)是字符串与分值的有序映射,通过跳跃表和哈希表结合实现高效有序性管理,适用于排行榜、延迟队列等场景,其时间复杂度低,内存占... 目录开篇:排行榜背后的秘密一、zset的基本使用1.1 常用命令1.2 Java客户端示例二、zse

Redis中的AOF原理及分析

《Redis中的AOF原理及分析》Redis的AOF通过记录所有写操作命令实现持久化,支持always/everysec/no三种同步策略,重写机制优化文件体积,与RDB结合可平衡数据安全与恢复效率... 目录开篇:从日记本到AOF一、AOF的基本执行流程1. 命令执行与记录2. AOF重写机制二、AOF的

Java发送SNMP至交换机获取交换机状态实现方式

《Java发送SNMP至交换机获取交换机状态实现方式》文章介绍使用SNMP4J库(2.7.0)通过RCF1213-MIB协议获取交换机单/多路状态,需开启SNMP支持,重点对比SNMPv1、v2c、v... 目录交换机协议SNMP库获取交换机单路状态获取交换机多路状态总结交换机协议这里使用的交换机协议为常

MyBatis Plus大数据量查询慢原因分析及解决

《MyBatisPlus大数据量查询慢原因分析及解决》大数据量查询慢常因全表扫描、分页不当、索引缺失、内存占用高及ORM开销,优化措施包括分页查询、流式读取、SQL优化、批处理、多数据源、结果集二次... 目录大数据量查询慢的常见原因优化方案高级方案配置调优监控与诊断总结大数据量查询慢的常见原因MyBAT

分析 Java Stream 的 peek使用实践与副作用处理方案

《分析JavaStream的peek使用实践与副作用处理方案》StreamAPI的peek操作是中间操作,用于观察元素但不终止流,其副作用风险包括线程安全、顺序混乱及性能问题,合理使用场景有限... 目录一、peek 操作的本质:有状态的中间操作二、副作用的定义与风险场景1. 并行流下的线程安全问题2. 顺

MyBatis/MyBatis-Plus同事务循环调用存储过程获取主键重复问题分析及解决

《MyBatis/MyBatis-Plus同事务循环调用存储过程获取主键重复问题分析及解决》MyBatis默认开启一级缓存,同一事务中循环调用查询方法时会重复使用缓存数据,导致获取的序列主键值均为1,... 目录问题原因解决办法如果是存储过程总结问题myBATis有如下代码获取序列作为主键IdMappe

C#使用iText获取PDF的trailer数据的代码示例

《C#使用iText获取PDF的trailer数据的代码示例》开发程序debug的时候,看到了PDF有个trailer数据,挺有意思,于是考虑用代码把它读出来,那么就用到我们常用的iText框架了,所... 目录引言iText 核心概念C# 代码示例步骤 1: 确保已安装 iText步骤 2: C# 代码程

Spring Boot中获取IOC容器的多种方式

《SpringBoot中获取IOC容器的多种方式》本文主要介绍了SpringBoot中获取IOC容器的多种方式,包括直接注入、实现ApplicationContextAware接口、通过Spring... 目录1. 直接注入ApplicationContext2. 实现ApplicationContextA