本文主要是介绍Python采集某网站小视频内容, m3u8视频内容下载，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
前言
大家早好、午好、晚好吖 ❤ ~欢迎光临本文章
如果有什么疑惑/资料需要的可以点击文章末尾名片领取源码
环境使用:
-
Python 3.10
-
Pycharm
模块使用:
-
import requests >>> pip install requests
-
import re
-
import json
什么流媒体 (m3u8)
把完整视频内容, 分割成N个视频片段(ts文件)
所有ts文件都存在m3u8文件中
爬虫实现流程: 从单个视频采集 -> 多个视频采集
一. 数据来源分析
-
明确需求: 明确采集的网址以及数据
-
网址: https://www.acfun.cn/v/ac36564705
-
数据: 视频内容
-
-
抓包分析: 通过开发者工具分析数据对应位置 (浏览器上面进行的)
-
打开开发者工具: F12 / 右键点击检查 选择 network (网络)
-
刷新网页
-
通过关键字去搜索找到对应数据包
关键字: 是什么? (m3u8)
数据包地址: https://www.acfun.cn/v/ac36564705
-
m3u8文件链接
-
视频标题
-
目的: 完整一个视频内容 --> 分成N个视频片段(ts) --> m3u8链接中来的 --> https://www.acfun.cn/v/ac36564705
二. 代码实现步骤: 发送请求 -> 获取数据 -> 解析数据 -> 保存数据
第一次请求: 获取 m3u8链接 / 视频标题
1. 发送请求 -> 模拟浏览器对于url地址发送请求请求网址: https://www.acfun.cn/v/ac36564705 (视频详情页面)
2. 获取数据 -> 获取服务器返回响应数据 <整个网页数据>
3. 解析数据 -> 获取 m3u8链接 / 视频标题
第二次请求: 获取所有ts文件链接 (视频片段链接)
1. 发送请求 -> 模拟浏览器对于url地址发送请求请求网址: m3u8链接
2. 获取数据 -> 获取服务器返回响应数据
3. 解析数据 -> 获取 ts文件链接
第三请求: 获取视频内容
1. 发送请求 -> 模拟浏览器对于url地址发送请求请求网址: ts文件链接
2. 获取数据 -> 获取视频数据内容
3. 保存数据 -> 把所有视频片段合并成一个完整的视频内容
多个视频采集 (单页视频内容) -> 多页视频采集
- 分析请求链接变化规律https://www.acfun.cn/v/ac36564705 (视频详情页)https://www.acfun.cn/v/ac36448650https://www.acfun.cn/v/ac36260976
视频ID -> 获取所有视频ID即可保存所有视频内容
无论是什么ID都可以目录页面/列表页 (动态&静态)
- https://www.acfun.cn/u/29946310?quickViewId=ac-space-video-list&reqID=3&ajaxpipe=1&type=video&order=newest&page=4&pageSize=20&t=1701435800333
1. 发送请求
2. 获取数据
3. 解析数据 -> 视频ID
代码展示
导入模块
'''
python资料获取看这里噢！！ 小编 V：qian97378，即可获取：
文章源码/教程/资料/解答等福利，还有不错的视频学习教程和PDF电子书！
'''
# 导入数据请求模块
import requests
# 导入正则表达式模块
import re
# 导入json
import json
# 导入格式化输出模块
from pprint import pprint
“”"
第一次请求: 获取 m3u8链接 / 视频标题
re.findall('匹配的数据', '数据源') 表示找到所有你想要数据
“”"
模拟浏览器
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'
}
请求网址
link = 'https://www.acfun.cn/u/29946310?quickViewId=ac-space-video-list&reqID=3&ajaxpipe=1&type=video&order=newest&page=4&pageSize=20&t=1701435800333'
发送请求 & 获取数据
link_data = requests.get(url=link, headers=headers).text
提取视频ID
'''
python资料获取看这里噢！！ 小编 V：qian97378，即可获取：
文章源码/教程/资料/解答等福利，还有不错的视频学习教程和PDF电子书！
'''
video_id_list = re.findall('"atomid.*?":.*?"(\d+).*?"', link_data)
for video_id in video_id_list:# 请求网址url = f'https://www.acfun.cn/v/ac{video_id}'# 发送请求response = requests.get(url=url, headers=headers)# 获取数据html_data = response.text# 提取标题title = re.findall('"title":"(.*?)",', html_data)[1]# 提取m3u8 json格式 -> 字符串info = re.findall('window.videoInfo = (.*?);', html_data)[0]
转成字典 -> 键值对取值 (根据冒号左边的内容, 提取冒号右边的内容)
m3u8 = json.loads(json.loads(info)['currentVideoInfo']['ksPlayJson'])['adaptationSet'][0]['representation'][0]['url']
“”"
第二次请求: 获取所有ts文件链接 (视频片段链接)
“”"
发送请求 / 获取数据
m3u8_data = requests.get(url=m3u8, headers=headers).text
提取ts链接 re.S 可以匹配换行符
ts_list = re.findall(',\n(.*?)\n#', m3u8_data, re.S)print(title)
for循环遍历
'''
python资料获取看这里噢！！ 小编 V：qian97378，即可获取：
文章源码/教程/资料/解答等福利，还有不错的视频学习教程和PDF电子书！
'''for ts in ts_list:# https://ali-safety-video.acfun.cn/mediacloud/acfun/acfun_video/c3471e9635d5b851-b7141b506c6f33d5ec893077a0e6ea00-hls_720p_hevc_1.00000.ts?pkey=ABA7dgfgyTtgBjZ5eK0fj8UYJswNXhxR5r6TYp88ERtwdxUrka3AeDhOH15qo9_CVqys7YOy2zrIh57HrKdTrZuZu-X4fzDs-1NfmZqVh5Kleqju83jWLYI4KzYRM6OsNaLFH79UTqK3TB_ZVzBqxUM7BL1eORRCELLAcEPaQlhTZvhPi-t4f4T9kT82DXVTUNPEWWchOB2xXohj5p9oRmhRQtxZhfaOAYPtcxAPMsUmp7xCDP1c9PYzAScVXIUWGuA&safety_id=AAKpFGD5RVG_bSdCrDreLaxkts_url = 'https://ali-safety-video.acfun.cn/mediacloud/acfun/acfun_video/' + ts
“”"
第三请求: 获取视频内容
“”"
ts_content = requests.get(url=ts_url, headers=headers).contentwith open('video\\' + title + '.mp4', mode='ab') as f:f.write(ts_content)print(ts_url)
尾语
好了，今天的分享就差不多到这里了！
对下一篇大家想看什么，可在评论区留言哦！看到我会更新哒(ง •_•)ง
喜欢就关注一下博主，或点赞收藏评论一下我的文章叭！！！
最后，宣传一下呀~👇👇👇 更多源码、资料、素材、解答、交流 皆点击下方名片获取呀👇👇👇
这篇关于Python采集某网站小视频内容, m3u8视频内容下载的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
