Elasticsearch系列(十)----使用webmagic爬取数据导入到ES

2024-06-17 05:38
文章标签 数据 es 使用 系列 elasticsearch 爬取 导入到 webmagic

本文主要是介绍Elasticsearch系列(十)----使用webmagic爬取数据导入到ES，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

webmagic主要有两个文件




一个是对爬取页面进行处理，一个是对页面处理之后的数据进行保存:


CSDNPageProcessor

package com.fendo.webmagic;import java.io.IOException;
import java.net.InetAddress;
import java.net.UnknownHostException;
import java.util.List;import com.fasterxml.jackson.core.JsonProcessingException;
import com.fasterxml.jackson.databind.ObjectMapper;import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import org.elasticsearch.transport.client.PreBuiltTransportClient;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.ApplicationContext;
import org.springframework.context.support.FileSystemXmlApplicationContext;import com.fendo.common.ClientFactory;
import com.fendo.common.CommonUtils;
import com.fendo.entity.CsdnBlog;import io.searchbox.client.JestClient;
import io.searchbox.client.JestResult;
import io.searchbox.indices.CreateIndex;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;/*** CSDN页面爬取* @author fendo**/
//@RunWith(SpringJUnit4ClassRunner.class)
//@WebAppConfiguration
//@ContextConfiguration(locations = {"classpath:applicationContext.xml"})
public class CSDNPageProcessor implements PageProcessor{@Autowiredprivate static JdbcPipeline jdbcPipeline;private static String username="u011781521";  // 设置csdn用户名  private static int size = 0;// 共抓取到的文章数量  private JestClient jestClient;// 抓取网站的相关配置，包括：编码、抓取间隔、重试次数等      private Site site = Site.me().setRetryTimes(3).setSleepTime(1000).setUserAgent("Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.134 Safari/537.36");@Overridepublic Site getSite() {return site;}@Overridepublic void process(Page page) {// 列表页  if (!page.getUrl().regex("http://blog\\.csdn\\.net/" + username + "/article/details/\\d+").match()) {  // 添加所有文章页  page.addTargetRequests(page.getHtml().xpath("//div[@id='article_list']").links()// 限定文章列表获取区域  .regex("/" + username + "/article/details/\\d+")  .replace("/" + username + "/", "http://blog.csdn.net/" + username + "/")// 巧用替换给把相对url转换成绝对url  .all());  // 添加其他列表页  page.addTargetRequests(page.getHtml().xpath("//div[@id='papelist']").links()// 限定其他列表页获取区域  .regex("/" + username + "/article/list/\\d+")  .replace("/" + username + "/", "http://blog.csdn.net/" + username + "/")// 巧用替换给把相对url转换成绝对url  .all());  // 文章页  } else {  size++;// 文章数量加1  page.putField("key", Integer.parseInt(page.getUrl().regex("http://blog\\.csdn\\.net/" + username + "/article/details/(\\d+)").get()));page.putField("title", CommonUtils.replaceHTML(page.getHtml().xpath("//div[@class='article_title']//span[@class='link_title']/a/text()").get()));page.putField("content",CommonUtils.replaceHTML(page.getHtml().xpath("//div[@class='article_content']/allText()").get()));page.putField("dates",page.getHtml().xpath("//div[@class='article_r']/span[@class='link_postdate']/text()").get());System.out.println("+++++++++++++++date:"+page.getHtml().xpath("//div[@class='article_r']/span[@class='link_postdate']/text()").get());page.putField("tags",CommonUtils.replaceHTML(listToString(page.getHtml().xpath("//div[@class='article_l']/span[@class='link_categories']/a/allText()").all())));page.putField("category",CommonUtils.replaceHTML(listToString(page.getHtml().xpath("//div[@class='category_r']/label/span/text()").all())));page.putField("view", Integer.parseInt(page.getHtml().xpath("//div[@class='article_r']/span[@class='link_view']").regex("(\\d+)人阅读").get()));page.putField("comments",Integer.parseInt(page.getHtml().xpath("//div[@class='article_r']/span[@class='link_comments']").regex("\\((\\d+)\\)").get()));page.putField("copyright",page.getHtml().regex("bog_copyright").match() ? 1 : 0);page.putField("url", page.getUrl().get());//创建索引ObjectMapper mapper = new ObjectMapper();//创建clientTransportClient client;CsdnBlog csdnBlog = new CsdnBlog();csdnBlog.setId(size);csdnBlog.setTags((String)page.getResultItems().get("tags"));csdnBlog.setKeyes((Integer)page.getResultItems().get("key"));csdnBlog.setTitles((String)page.getResultItems().get("title"));csdnBlog.setDates((String)page.getResultItems().get("dates"));csdnBlog.setCategory((String)page.getResultItems().get("category"));csdnBlog.setViews((Integer)page.getResultItems().get("view"));csdnBlog.setComments((Integer)page.getResultItems().get("comments"));csdnBlog.setCopyright((Integer)page.getResultItems().get("copyright"));csdnBlog.setContent((String)page.getResultItems().get("content"));try {//设置集群名称Settings settings = Settings.builder().put("cluster.name", "my-application").build();// 集群名client = new PreBuiltTransportClient(settings).addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("127.0.0.1"), 9300));IndexResponse response = client.prepareIndex("csdnblog", "article").setSource(mapper.writeValueAsString(csdnBlog)).execute().actionGet();System.out.println(response.toString());} catch (Exception e) {e.printStackTrace();}// 把对象输出控制台  //System.out.println("获取的数据:"+page.toString()); }  }// 把list转换为string，用,分割  public static String listToString(List<String> stringList) {  if (stringList == null) {  return null;  }  StringBuilder result = new StringBuilder();  boolean flag = false;  for (String string : stringList) {  if (flag) {  result.append(",");  } else {  flag = true;  }  result.append(string);  }  return result.toString();  }  public static void main(String[] args) {  long startTime, endTime;  System.out.println("【爬虫开始】...");  startTime = System.currentTimeMillis();  //ApplicationContext applicationContext = new ClassPathXmlApplicationContext("applicationContext.xml");ApplicationContext applicationContext = new FileSystemXmlApplicationContext(  "classpath:applicationContext.xml");  JdbcPipeline jdbcPipeline=(JdbcPipeline)applicationContext.getBean("jdbcPipeline");System.out.println(jdbcPipeline.toString());Spider.create(new CSDNPageProcessor()).addUrl("http://blog.csdn.net/u011781521/article/list/1")//.addUrl("http://blog.csdn.net/u011781521/article/list/1").addPipeline(jdbcPipeline).thread(5).run();// 从用户博客首页开始抓，开启5个线程，启动爬虫  // Spider.create(new CsdnBlogPageProcessor()).addUrl("http://blog.csdn.net/" + username).thread(5).run();  endTime = System.currentTimeMillis();  System.out.println("【爬虫结束】共抓取" + size + "篇文章，耗时约" + ((endTime - startTime) / 1000) + "秒，已保存到数据库，请查收！");  }  
}


注意:


在上面的代码中，不但通过jdbcPipeline保存了数据，还通过TransportClient 往ES中保存了数据!!


JdbcPipeline
 

package com.fendo.webmagic;import java.util.Map;import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
import org.springframework.stereotype.Service;import com.fendo.entity.CsdnBlog;
import com.fendo.mapper.CsdnBlogMapper;import us.codecraft.webmagic.ResultItems;
import us.codecraft.webmagic.Task;
import us.codecraft.webmagic.pipeline.Pipeline;@Component("jdbcPipeline")
public class JdbcPipeline implements Pipeline{@AutowiredCsdnBlogMapper csdnBlogMapper;@Overridepublic void process(ResultItems resultItems, Task task) {Map<String,Object> items = resultItems.getAll();if(resultItems!=null&&resultItems.getAll().size()>0){CsdnBlog csdnBlog = new CsdnBlog();csdnBlog.setTags((String)items.get("tags"));csdnBlog.setKeyes((Integer)items.get("key"));csdnBlog.setTitles((String)items.get("title"));csdnBlog.setDates((String)items.get("dates"));csdnBlog.setCategory((String)items.get("category"));csdnBlog.setViews((Integer)items.get("view"));csdnBlog.setComments((Integer)items.get("comments"));csdnBlog.setCopyright((Integer)items.get("copyright"));csdnBlog.setContent((String)items.get("content"));System.out.println("-----------------------------------------------------------------------process:"+csdnBlog.toString());csdnBlogMapper.insert(csdnBlog);}}}


对应的数据库脚本:

CREATE TABLE `csdnblog` (`id` int(11) unsigned NOT NULL AUTO_INCREMENT,`keyes` int(11) unsigned NOT NULL,`titles` varchar(255) NOT NULL,`content` varchar(10240) NOT NULL,`dates` varchar(255) DEFAULT NULL,`tags` varchar(255) DEFAULT NULL,`category` varchar(255) DEFAULT NULL,`views` int(11) unsigned DEFAULT NULL,`comments` int(11) unsigned DEFAULT NULL,`copyright` int(20) unsigned DEFAULT NULL,`url` varchar(255) DEFAULT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3301 DEFAULT CHARSET=utf8;

完整项目: http://download.csdn.net/download/u011781521/9966717

这篇关于Elasticsearch系列(十)----使用webmagic爬取数据导入到ES的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1068606。

相关文章

Python 函数详解:从基础语法到高级使用技巧

Python 函数详解:从基础语法到高级使用技巧

《Python函数详解:从基础语法到高级使用技巧》本文基于实例代码,全面讲解Python函数的定义、参数传递、变量作用域及类型标注等知识点,帮助初学者快速掌握函数的使用技巧,感兴趣的朋友跟随小编一起... 目录一、函数的基本概念与作用二、函数的定义与调用1. 无参函数2. 带参函数3. 带返回值的函数4.
阅读更多...
MySQL中DATE_FORMAT时间函数的使用小结

MySQL中DATE_FORMAT时间函数的使用小结

《MySQL中DATE_FORMAT时间函数的使用小结》本文主要介绍了MySQL中DATE_FORMAT时间函数的使用小结,用于格式化日期/时间字段,可提取年月、统计月份数据、精确到天,对大家的学习或... 目录前言DATE_FORMAT时间函数总结前言mysql可以使用DATE_FORMAT获取日期字段
阅读更多...
Qt中实现多线程导出数据功能的四种方式小结

Qt中实现多线程导出数据功能的四种方式小结

《Qt中实现多线程导出数据功能的四种方式小结》在以往的项目开发中,在很多地方用到了多线程,本文将记录下在Qt开发中用到的多线程技术实现方法,以导出指定范围的数字到txt文件为例,展示多线程不同的实现方... 目录前言导出文件的示例工具类QThreadQObject的moveToThread方法实现多线程QC
阅读更多...
Go语言使用sync.Mutex实现资源加锁

Go语言使用sync.Mutex实现资源加锁

《Go语言使用sync.Mutex实现资源加锁》数据共享是一把双刃剑,Go语言为我们提供了sync.Mutex,一种最基础也是最常用的加锁方式,用于保证在任意时刻只有一个goroutine能访问共享... 目录一、什么是 Mutex二、为什么需要加锁三、实战案例：并发安全的计数器1. 未加锁示例（存在竞态）
阅读更多...
SpringBoot集成EasyExcel实现百万级别的数据导入导出实践指南

SpringBoot集成EasyExcel实现百万级别的数据导入导出实践指南

《SpringBoot集成EasyExcel实现百万级别的数据导入导出实践指南》本文将基于开源项目springboot-easyexcel-batch进行解析与扩展,手把手教大家如何在SpringBo... 目录项目结构概览核心依赖百万级导出实战场景核心代码效果百万级导入实战场景监听器和Service（核心
阅读更多...
setsid 命令工作原理和使用案例介绍

setsid 命令工作原理和使用案例介绍

《setsid命令工作原理和使用案例介绍》setsid命令在Linux中创建独立会话,使进程脱离终端运行,适用于守护进程和后台任务,通过重定向输出和确保权限,可有效管理长时间运行的进程,本文给大家介... 目录setsid 命令介绍和使用案例基本介绍基本语法主要特点命令参数使用案例1. 在后台运行命令2.
阅读更多...
使用Redis快速实现共享Session登录的详细步骤

使用Redis快速实现共享Session登录的详细步骤

《使用Redis快速实现共享Session登录的详细步骤》在Web开发中,Session通常用于存储用户的会话信息,允许用户在多个页面之间保持登录状态,Redis是一个开源的高性能键值数据库,广泛用于... 目录前言实现原理：步骤：使用Redis实现共享Session登录1. 引入Redis依赖2. 配置R
阅读更多...
使用Python的requests库调用API接口的详细步骤

使用Python的requests库调用API接口的详细步骤

《使用Python的requests库调用API接口的详细步骤》使用Python的requests库调用API接口是开发中最常用的方式之一,它简化了HTTP请求的处理流程,以下是详细步骤和实战示例,涵... 目录一、准备工作：安装 requests 库二、基本调用流程（以 RESTful API 为例）1.
阅读更多...
使用Python开发一个Ditto剪贴板数据导出工具

使用Python开发一个Ditto剪贴板数据导出工具

《使用Python开发一个Ditto剪贴板数据导出工具》在日常工作中,我们经常需要处理大量的剪贴板数据,下面将介绍如何使用Python的wxPython库开发一个图形化工具,实现从Ditto数据库中读... 目录前言运行结果项目需求分析技术选型核心功能实现1. Ditto数据库结构分析2. 数据库自动定位3
阅读更多...
Python yield与yield from的简单使用方式

Python yield与yield from的简单使用方式

《Pythonyield与yieldfrom的简单使用方式》生成器通过yield定义,可在处理I/O时暂停执行并返回部分结果,待其他任务完成后继续,yieldfrom用于将一个生成器的值传递给另一... 目录python yield与yield from的使用代码结构总结Python yield与yield
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2