使用前嗅ForeSpider通过搜索框检索关键词采集数据

2024-06-02 01:38

本文主要是介绍使用前嗅ForeSpider通过搜索框检索关键词采集数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

第一步:新建任务

①点击左上角“加号”新建任务,如图1:

【图1】

②在弹窗里填写采集地址、任务名称,由于此次需要配置关键词,所以在新建任务时,需要勾选一下“关键词采集”如图2:

【图2】

③点击下一步,选择进行数据抽取还是链接抽取,本次采集需要采集列表页中正文的所有文本信息,所以此处需要勾选“抽取链接”-“普通翻页”,如图3:

【图3】

第二步:配置关键词

①由于在创建任务时,选择了关键词采集,所以此时,显示在任务层,如图4

 

【图4】

②按照右侧关键词配置步骤的提示(每个步骤按钮可以点击,如无此操作步骤,可直接跳过),开始配置关键词,如图5

<1>点击关键词,按照操作提示,按住ctrl+鼠标左键点击搜索框

<2>在完成步骤时,按住ctrl+鼠标左键点击搜索按钮

 

【图5】

③关键词列表处,填写关键词,并点击保存,如图6

【图6】

第三步:通过标题过滤,过滤翻页链接

①点击采集预览,我们可以发现,翻页链接即为名为:“下一页”的链接。对于翻页,只需要取到标题名为“下一页”的链接即可。

②这里应用标题过滤,过滤规则选择“包含”,过滤串填写“下一页”即可。如图7

 

【图7】

③点击采集预览查看是否过滤成功,如图8

【图8】

 

第四步:关联模板

在软件中模板的关联关系,与网页中链接跳转的关系相同。

①关联“链接列表”

根据网页跳转规律,将“链接列表”关联模板二“链接列表:02”,此处由于我们开始就选择了创建列表链接,所以软件自动关联好了模板二。如果配置的时候发现关联有问题,可以自己进行更改,如图9

 

【图9】

②关联“翻页”(对应第四步创建翻页链接抽取)

情况一:创建模板或通过向导,创建的翻页链接抽取,会默认关联模板一,即当前页模板,如图11。

情况二:手动点击按钮创建翻页链接抽取,需要手动关联,如图10。

【图10】

第五步:填写模板二示例地址并新建数据抽取

①模板一过滤得到的任意一条链接,作为模板二的示例地址。如:http://www.baidu.com/link?url=RU0aZHeU-o3LTp3pqyPDy6m9xoeE0vROyA-eypRcuOAGvNzA9E8VQuEI7aIxi1iKo4LBmC0xfOin7-ZclO50P9MfO4oL8uya5BmiX7V85Iz2lnXzs12I2tfb-g4fG9s1, 见图11:

 

【图11】

②新建数据抽取

方法一:通过点击“下一步”后勾选抽取数据,再次点击“下一步”得到数据抽取,如图12

方法二:直接点击模板二,点击上面“新建数据抽取”按钮,得到数据抽取,如图12

【图12】

 

第六步:创建/选择表单

在ForeSpider爬虫中,表单是可以复用的,所以可以在数据表单出直接选择之前建过的表单,也可以通过表单ID来进行查找并关联数据表单。此处使用的是之前建过的凤凰网的表单,如图13

方法一:通过下拉菜单或表单ID选择已有表单

方法二:点击创建表单进入快速建表页面,新建表单

 

【图13】

方法三:点击“采集配置”-“数据建表”,点击采“采集表单”后面的如图14

【图14】

第七步:配置表单

根据所需内容,配置表单字段(即表头),此处配置了包括网页标题、网页地址、全部文本三个字段,表单如图15

 

【图15】

第八步:字段取值

取值方法:由于网页标题和网页地址是可以自动取值的字段,所以我们只需要取到网页文本即可。

text字段,如图16

【图16】

第九步:模板预览

①鼠标右键点击“数据抽取”,然后点击“模板预览”,如图17

【图17】

②预览结果如图18

【图18】

第十步:采集预览

①点击右上角采集预览,如图19

【图19】

②点击任意一条链接,看看是否可以得到和网页对应的规整的数据,如图20

【图20】

这篇关于使用前嗅ForeSpider通过搜索框检索关键词采集数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1022685

相关文章

Java中的抽象类与abstract 关键字使用详解

《Java中的抽象类与abstract关键字使用详解》:本文主要介绍Java中的抽象类与abstract关键字使用详解,本文通过实例代码给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧... 目录一、抽象类的概念二、使用 abstract2.1 修饰类 => 抽象类2.2 修饰方法 => 抽象方法,没有

MyBatis ParameterHandler的具体使用

《MyBatisParameterHandler的具体使用》本文主要介绍了MyBatisParameterHandler的具体使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参... 目录一、概述二、源码1 关键属性2.setParameters3.TypeHandler1.TypeHa

Spring 中的切面与事务结合使用完整示例

《Spring中的切面与事务结合使用完整示例》本文给大家介绍Spring中的切面与事务结合使用完整示例,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考... 目录 一、前置知识:Spring AOP 与 事务的关系 事务本质上就是一个“切面”二、核心组件三、完

使用docker搭建嵌入式Linux开发环境

《使用docker搭建嵌入式Linux开发环境》本文主要介绍了使用docker搭建嵌入式Linux开发环境,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 目录1、前言2、安装docker3、编写容器管理脚本4、创建容器1、前言在日常开发全志、rk等不同

使用Python实现Word文档的自动化对比方案

《使用Python实现Word文档的自动化对比方案》我们经常需要比较两个Word文档的版本差异,无论是合同修订、论文修改还是代码文档更新,人工比对不仅效率低下,还容易遗漏关键改动,下面通过一个实际案例... 目录引言一、使用python-docx库解析文档结构二、使用difflib进行差异比对三、高级对比方

MyBatis-plus处理存储json数据过程

《MyBatis-plus处理存储json数据过程》文章介绍MyBatis-Plus3.4.21处理对象与集合的差异:对象可用内置Handler配合autoResultMap,集合需自定义处理器继承F... 目录1、如果是对象2、如果需要转换的是List集合总结对象和集合分两种情况处理,目前我用的MP的版本

sky-take-out项目中Redis的使用示例详解

《sky-take-out项目中Redis的使用示例详解》SpringCache是Spring的缓存抽象层,通过注解简化缓存管理,支持Redis等提供者,适用于方法结果缓存、更新和删除操作,但无法实现... 目录Spring Cache主要特性核心注解1.@Cacheable2.@CachePut3.@Ca

C#下Newtonsoft.Json的具体使用

《C#下Newtonsoft.Json的具体使用》Newtonsoft.Json是一个非常流行的C#JSON序列化和反序列化库,它可以方便地将C#对象转换为JSON格式,或者将JSON数据解析为C#对... 目录安装 Newtonsoft.json基本用法1. 序列化 C# 对象为 JSON2. 反序列化

GSON框架下将百度天气JSON数据转JavaBean

《GSON框架下将百度天气JSON数据转JavaBean》这篇文章主要为大家详细介绍了如何在GSON框架下实现将百度天气JSON数据转JavaBean,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录前言一、百度天气jsON1、请求参数2、返回参数3、属性映射二、GSON属性映射实战1、类对象映

RabbitMQ 延时队列插件安装与使用示例详解(基于 Delayed Message Plugin)

《RabbitMQ延时队列插件安装与使用示例详解(基于DelayedMessagePlugin)》本文详解RabbitMQ通过安装rabbitmq_delayed_message_exchan... 目录 一、什么是 RabbitMQ 延时队列? 二、安装前准备✅ RabbitMQ 环境要求 三、安装延时队