Chrome分析网页获取Bilibili弹幕

2024-03-13 03:32

本文主要是介绍Chrome分析网页获取Bilibili弹幕,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

原文地址:http://blog.csdn.net/u011327333/article/details/78690965

Chrome分析网页-一步步获取Bilibili弹幕

Chrome 提供的8大工具简介

Elements
从浏览器的视角来看页面,也就是说我们可以看到chrome渲染页面所需要的HTML,CSS和DOM(Document Object Model)对象。此外,还可以编辑这些内容更改页面的显示效果。

Netwrok
可以看到页面向服务器请求了哪些资源,资源的大小以及加载资源花费的时间;也可以看到哪些资源不能加载成功,此外还可以看到HTTP的请求头,返回内容等;

Sources
主要用来调试js

Timeline
提供了加载页面时花费时间的完整分析,所有事件,从下载资源到处理JavaScript,计算CSS样式等花费的时间都展示在Timeline中。

Profiles
分析web应用或者页面的执行时间以及内存使用情况

Resources
对本地缓存(IndexedDB,Web SQL, Cookie,应用程序缓存,Web Storage)中的数据进行确认及编辑

Audits
分析页面加载的过程,进而提供减少页面加载时间,提升响应速度的方案;

Console
显示各种警告与错误信息,并提供了shell用来和文档,开发者工具交互

启动开发者工具

Mac 上快捷键:option + command + i点击右侧一个三个竖点标志的图标  -> More tools -> Developer tools
  • 1
  • 2
  • 3

Elements元素使用

点击网页,选择观察源码和利用Elements看到的源码是不一样的。直接点击网页右键看到的源码有很多JS请求资源并没有显示,而直接显示了JS本身。以B站为例,弹幕资源和视频资源不在同一个服务器上,需要发出不同的请求。当页面加载时,会有一段JS,向弹幕服务器请求资源。如果之间右键观察源码,则只能看到该段JS,无法看到弹幕信息。但是通过Elements就可以看到。

启动开发者工具后,选中Elements(默认就是它),有两种模式可以进行元素观察。一种是鼠标点击源码,然后网页高亮选中的元素。另外一种是鼠标选中网页中的某个元素,然后程序高亮对应的代码。

在开发者工具的顶部菜单栏(注意不是浏览器顶部菜单栏)左上角,有一个箭头标志,点击它就会切换两种模式。默认开始是选中源码,高亮对应界面。

在开发者工具顶部菜单栏右上角,可以切换工具与界面显示的方式。比如上下布局,左右布局,或者开发者工具离开浏览器。

Netwrok 的使用

请求的资源类型

XHR // 记录ajax异步请求。一般通过js异步加载的资源都在这里DOC // 请求的文件,一般就是输入这个网址url获得的整体资源
  • 1
  • 2
  • 3

Netwrok可以看到网页请求了哪些资源。如果没显示,则刷新网页。下面结合一个例子来讲述该工具的使用方法。

寻找B站弹幕服务器

B站的视频网页,有很多资源展示。视频展示,弹幕展示,图片展示。这些元素并不是来自同一个服务器。如何确定弹幕服务器,以便于获取弹幕资源?

这里分析的可能并不准确。事实上我是提前知道了,B站是通过cid值来向弹幕服务器发起请求的。假如不知道是用这个值的话,不知道能否找到。

首先在Element页面下,定位弹幕,视频所在区域。发现有一个大的div包含了这两个区域。该div的id=bofqi(播放器),因为这个区域即包含视频又包含弹幕,所以肯定会有js代码在这里请求了资源。(视频资源应该是和最初的url一起请求进来的,所以这里如果有js,则很有可能是弹幕的。)

然后,点击网页右键,观察源码,定位到div的id为bofqi的区域。发现下面果然有一段script,里面包含了一个cid的值。现在只需要知道它就可以了。

然后切换到Network中,刷新一下网页。

在上面的过滤器,选择XHR,XHR表示ajax异步请求得到的资源。 
然后会找到一段xml,点开它发现就是弹幕。

找到这个xml的一点方法,

观察的工具
点击一个其中资源Name,右侧就会出现一个信息栏。信息栏上有 Headers, Preview,Response,Timing选项。点击Headers后,会看到浏览器发送请求的一些具体信息。比如请求的url地址,请求的方法Get or post,返回的状态,200,404 等。Preview则是预览请求获得的资源。

观察条件1
通过观察 Request URL,可以过滤掉很多无效的资源。比如static开头的服务器地址,或者是请求的url特别长。一般图片素材等可能放到static命名的服务器里。结合弹幕的英文,侧重观察,comments,danmu 等词语命名的服务器url。

观察条件2
然后,考虑到弹幕的组成形式,很可能是一个json串或者是一个xml。因为它就是一个文本文件。

结合上述两个观察条件,一般能较快的定位到所需元素。

最后,发现以cid命名的一个xml文件里,包含的就是弹幕址。 
其请求的服务器url是:http://comment.bilibili.com/12918727.xml

后面那串数字就是cid。

所以知道通过网页端,知道了cid,就能得到向弹幕服务器发起请求的url,也就能获得相应的弹幕。


这篇关于Chrome分析网页获取Bilibili弹幕的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/803519

相关文章

python panda库从基础到高级操作分析

《pythonpanda库从基础到高级操作分析》本文介绍了Pandas库的核心功能,包括处理结构化数据的Series和DataFrame数据结构,数据读取、清洗、分组聚合、合并、时间序列分析及大数据... 目录1. Pandas 概述2. 基本操作:数据读取与查看3. 索引操作:精准定位数据4. Group

MySQL中EXISTS与IN用法使用与对比分析

《MySQL中EXISTS与IN用法使用与对比分析》在MySQL中,EXISTS和IN都用于子查询中根据另一个查询的结果来过滤主查询的记录,本文将基于工作原理、效率和应用场景进行全面对比... 目录一、基本用法详解1. IN 运算符2. EXISTS 运算符二、EXISTS 与 IN 的选择策略三、性能对比

MySQL 内存使用率常用分析语句

《MySQL内存使用率常用分析语句》用户整理了MySQL内存占用过高的分析方法,涵盖操作系统层确认及数据库层bufferpool、内存模块差值、线程状态、performance_schema性能数据... 目录一、 OS层二、 DB层1. 全局情况2. 内存占js用详情最近连续遇到mysql内存占用过高导致

深度解析Nginx日志分析与499状态码问题解决

《深度解析Nginx日志分析与499状态码问题解决》在Web服务器运维和性能优化过程中,Nginx日志是排查问题的重要依据,本文将围绕Nginx日志分析、499状态码的成因、排查方法及解决方案展开讨论... 目录前言1. Nginx日志基础1.1 Nginx日志存放位置1.2 Nginx日志格式2. 499

Python获取浏览器Cookies的四种方式小结

《Python获取浏览器Cookies的四种方式小结》在进行Web应用程序测试和开发时,获取浏览器Cookies是一项重要任务,本文我们介绍四种用Python获取浏览器Cookies的方式,具有一定的... 目录什么是 Cookie?1.使用Selenium库获取浏览器Cookies2.使用浏览器开发者工具

Java获取当前时间String类型和Date类型方式

《Java获取当前时间String类型和Date类型方式》:本文主要介绍Java获取当前时间String类型和Date类型方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录Java获取当前时间String和Date类型String类型和Date类型输出结果总结Java获取

C#监听txt文档获取新数据方式

《C#监听txt文档获取新数据方式》文章介绍通过监听txt文件获取最新数据,并实现开机自启动、禁用窗口关闭按钮、阻止Ctrl+C中断及防止程序退出等功能,代码整合于主函数中,供参考学习... 目录前言一、监听txt文档增加数据二、其他功能1. 设置开机自启动2. 禁止控制台窗口关闭按钮3. 阻止Ctrl +

Olingo分析和实践之EDM 辅助序列化器详解(最佳实践)

《Olingo分析和实践之EDM辅助序列化器详解(最佳实践)》EDM辅助序列化器是ApacheOlingoOData框架中无需完整EDM模型的智能序列化工具,通过运行时类型推断实现灵活数据转换,适用... 目录概念与定义什么是 EDM 辅助序列化器?核心概念设计目标核心特点1. EDM 信息可选2. 智能类

Olingo分析和实践之OData框架核心组件初始化(关键步骤)

《Olingo分析和实践之OData框架核心组件初始化(关键步骤)》ODataSpringBootService通过初始化OData实例和服务元数据,构建框架核心能力与数据模型结构,实现序列化、URI... 目录概述第一步:OData实例创建1.1 OData.newInstance() 详细分析1.1.1

Olingo分析和实践之ODataImpl详细分析(重要方法详解)

《Olingo分析和实践之ODataImpl详细分析(重要方法详解)》ODataImpl.java是ApacheOlingoOData框架的核心工厂类,负责创建序列化器、反序列化器和处理器等组件,... 目录概述主要职责类结构与继承关系核心功能分析1. 序列化器管理2. 反序列化器管理3. 处理器管理重要方