Ubuntu 20.04中用scrapy爬取博客园新闻首页的简单示例

本文主要是介绍Ubuntu 20.04中用scrapy爬取博客园新闻首页的简单示例，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、梳理scrapy项目目录创建：

1、命令行终端定位到pycharm主目录：cd PycharmProjects

2、建立项目名称：scrapy startproject searchArticle

3、定位到项目目录下：cd searchArticle

4、设置爬虫名称与欲爬取的域名地址：scrapy genspider blogs news.cnblogs.com

5、打开pycharm，点击文件—>打开，选取该项目的地址，项目目录结构即打开。

6、在项目目录中创建一个源文件main.py，用于启动爬虫。

二、示例代码：

1、爬取博客园新闻首页标题的代码（blogs.py）

import scrapyclass BlogsSpider(scrapy.Spider):name = "blogs"allowed_domains = ["news.cnblogs.com"]start_urls = ["http://news.cnblogs.com/"]def parse(self, response):urls = response.xpath('//*[@id="news_list"]//h2[@class="news_entry"]/a/text()').extract()for url in urls:print(url)

2、启动爬虫的代码（main.py）

from scrapy.cmdline import executeexecute(['scrapy', 'crawl', 'blogs'])

3、运行main.py

三、运行结果：

四、要点注释与总结：

依照以上步骤用命令行创建项目，模板代码自动生成。关键代码文件blogs.py中，只需要为BlogsSpider类的parse方法中添加提取数据的xpath表达式，然后遍历出来每个新闻标题即可。

所以学爬虫框架scrapy，熟练Python基础中的面向对象的编程方法与提取数据的xpath表达式是关键要点。

这篇关于Ubuntu 20.04中用scrapy爬取博客园新闻首页的简单示例的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---