python爬虫：获取选集内容，并转换成csdn标题的形式

本文主要是介绍python爬虫：获取选集内容，并转换成csdn标题的形式，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

python爬虫：获取选集内容，并转换成csdn标题的形式，方便做笔记

效果展示
代码
爬虫浏览器chrome安装

效果展示

python爬虫结果
在这里插入图片描述

直接复制到csdn的markdown编辑器就可以用了
在这里插入图片描述

由于审核问题，爬的是哪个学习网站的视频就自己体会了。

代码

# coding: utf-8
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWaitclass Item:page_num = ""part = ""duration = ""def __init__(self, page_num, part, duration):self.page_num = page_numself.part = partself.duration = durationdef get_second(self):str_list = self.duration.split(":")sum = 0for i, item in enumerate(str_list):sum += pow(60, len(str_list) - i - 1) * int(item)return sumdef get_bilili_page_items(url):options = webdriver.ChromeOptions()options.add_argument('--headless')  # 设置无界面options.add_experimental_option('excludeSwitches', ['enable-automation'])browser = webdriver.Chrome(options=options)print("正在打开网页...")browser.get(url)print("等待网页响应...")# 需要等一下，直到页面加载完成wait = WebDriverWait(browser, 10)wait.until(EC.visibility_of_element_located((By.XPATH, '//*[@class="list-box"]/li/a')))print("正在获取网页数据...\n")# 获取视频总集标题，这句有时候会找不到标题标签，要选择标题浏览页面源码，看标题标签的名字if browser.find_element(by=By.XPATH, value='//*[@class="tit"]'):title = browser.find_element(by=By.XPATH, value='//*[@class="tit"]').textelif browser.find_element(by=By.XPATH, value='//*[@class="tit tr-fix"]'):title = browser.find_element(by=By.XPATH, value='//*[@class="tit tr-fix"]').textelse:title = ''print('@[TOC]('+title+' 笔记)')print('# 教程与代码地址')print('笔记中，图片和代码基本源自up主的视频和代码\n')print('视频地址：[' + title + ']('+ url + ')')print('代码地址：[]()')print('讲义地址：[]()')print('如果想要爬虫视频网站一样的csdn目录，可以去这里下载代码：[https://github.com/JeffreyLeal/MyUtils/tree/%E7%88%AC%E8%99%AB%E5%B7%A5%E5%85%B71](https://github.com/JeffreyLeal/MyUtils/tree/%E7%88%AC%E8%99%AB%E5%B7%A5%E5%85%B71)')# 获取视频分集标题列表list = browser.find_elements(by=By.XPATH, value='//*[@class="list-box"]/li')# print(list)itemList = []second_sum = 0# 2.循环遍历出每一条搜索结果的标题for t in list:# print("t text:",t.text)element = t.find_element(by=By.TAG_NAME, value='a')# print("a text:",element.text)arr = element.text.split('\n')# 以csdn目录的格式输出，把 'p1','p1的标题'，'视频长度' -> '#','p1','p1的标题'# arr[0], arr[1], arr[2] = '#', arr[0], arr[1]print("# " + arr[0] + ' ' + arr[1])# item = Item(arr[0], arr[1], arr[2])# 计算时长# second_sum += item.get_second()# itemList.append(item)# print("总数量:", len(itemList))# 显示时长# print("总时长/分钟:", round(second_sum / 60, 2))# print("总时长/小时:", round(second_sum / 3600.0, 2))browser.close()return itemList#此处输入b站视频地址，需要安装chrome浏览器
url = "https://www.bilibili.com/video/BV17y4y1m737"
get_bilili_page_items(url)

需要安装selenium包才能运行代码，代码源自: 这里。他的代码没什么问题，只是在他已有的基础上做了一点点修改，并把deprecated的语法替换了。爬虫使用的浏览器是chrome，他的文章没有详细说明具体怎么配置，这个文章讲述了怎么配置驱动的下载与配置解决：‘chromedriver’ executable needs to be in PATH问题.