一个前端攻城狮的全栈之路第一弹：nodejs实现一个简易的爬虫

本文主要是介绍一个前端攻城狮的全栈之路第一弹：nodejs实现一个简易的爬虫，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

node的http模块来实现一个简易的爬虫

1、这里只以http协议的网站为例，https的网站爬取只是解析方式略有差别，这里主要会用到node中http模块的get方法，不熟悉的小伙伴可事先预习一下

官网: https://nodejs.org/api/http.html

中文网站: http://nodejs.cn/api/http.html#http_http_get_options_callback

2、开始上代码

（1）引入http模块，调用get方法：

filters是过滤返回的html节点，获取有用的img标签

server方法是定义的本地服务器方法，并向浏览器输出内容

** 如果想预览到http.get返回的内容，可将html打印

http.get(url, (res) => {var html = '';res.on('data', (data) => {html += data;});res.on('end', () => {var courseData = filter(html);server(port, hostname, courseData);})
}).on('error', () => {console.log('获取出错');
})

（2）定义filter方法

***这里用到的cheerio模块，处理服务器端字符串类型的html标签,使用方法和jquery几乎一模一样

感兴趣的小伙伴可以去官网了解： https://www.npmjs.com/package/cheerio

/** 解析爬取的html,解析有用的部分
*/
function filter(html) {var $ = cheerio.load(html);// 获取初始化加载的img标签var imgs = $('.responsive-common').find('img');var listData = [];imgs.each(function() {var _this = $(this);var src = _this.data('original');var itemData = {src: src}listData.push(itemData);})return listData;
}

（ 3）定义本地服务方法

/** 创建本地服务器,将解析到的内容输出到页面* @ parame {Array} courseData
*/
const  hostname = '127.0.0.1';
const  port = 3000;
function server(port, hostname, courseData){var server = http.createServer((req, res) => {// 返回的状态码,以html的格式输出res.statusCode = 200;res.setHeader('Content-Type', 'text/html;charset=utf-8');// 向页面输出信息res.write((function() {var html = '';courseData.forEach((item, index) => {html += `<h3>${item.src}</h3><img src="${item.src}"/>`;})return html;})());res.end();});server.listen(port, hostname, () => {console.log(`Server running at http://${hostname}:${port}/`);});
}

3、预览效果