爬虫日记08：利用scrapy框架获取A站搞笑视频部分信息

本文主要是介绍爬虫日记08：利用scrapy框架获取A站搞笑视频部分信息，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、框架的安装

我们直接pip install scrapy 是安装不了的，因为缺少一些内置库。所以我们得去scrapy官网（(Installation guide — Scrapy 2.5.0 documentation）翻到 Things that are good to konw这里把scrapy框架所需的库全部下载。利用离线安装全部安装进pycharm。然后再进行scrapy安装的命令就成功了。

二、写代码

在pycharm的终端输入：scrapy startproject xxx(项目名) #创建scrapy项目

打开项目号后再在终端输入：scrapy genspider xxx(文件名) xxx（域名）#创建scrapy爬虫文件

然后我们在spider的文件里找到爬虫py文件，在里面进行我们的代码书写。

import scrapyfrom acfun.items import AcfunItemclass HappySpider(scrapy.Spider):name = 'happy'allowed_domains = ['acfun.cn']start_urls = [f'https://www.acfun.cn/v/list206/index.htm?page={num}' for num in range(1,11)]def parse(self, response):video_urls = resp

这篇关于爬虫日记08：利用scrapy框架获取A站搞笑视频部分信息的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---