使用前嗅ForeSpider在同一个网站中从另一页面采集数据

2024-06-02 01:38

本文主要是介绍使用前嗅ForeSpider在同一个网站中从另一页面采集数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

第一步:新建任务

①点击左上角“加号”新建任务,如图1:

【图1】

②在弹窗里填写采集地址,任务名称,如图2:

【图2】

③点击下一步,选择进行数据抽取还是链接抽取,本次采集企业最新动态链接列表,所以点击抽取链接,选择链接列表,如图3:

【图3】

④完成之后,在模板抽取配置下生成两个模板,默认模板:01和链接列表:02。模板1中的“链接列表”链接抽取已与模板2关联,如图4。如果配置的时候发现关联有问题,可以自己进行更改。

【图4】

第二步:使用定位过滤,得到列表链接

①按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域。

②点击确认选区,如图5:

【图5】

③点击采集预览,确认链接抽取是否正确,如图6:

【图6】

第三步:在模板2添加示例地址,并添加链接抽取

①将模板1过滤得到的任意一条链接,作为模板2的示例地址。如:http://blog.11467.com/b427516.htm,如图7:

【图7】

②新建链接抽取。直接点击模板2,点击上面“新建链接抽取”按钮,得到链接抽取,如图8。

【图8】

③关联模板

在软件中模板的关联关系,与网页中链接跳转的关系相同。

根据网页跳转规律,模板1中的“链接列表”链接抽取已与模板2关联。如果配置的时候发现关联有问题,可以自己进行更改。

 

第四步:使用定位过滤,得到列表链接

①按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域。

②点击确认选区,如图9:

【图9】

③右击模板预览,查看链接抽取结果,如图10所示:

【图10】

④确认链接抽取是否正确,如图11:

【图11】

第五步:新建模板3添加示例地址,并添加链接抽取

①新建模板3,将模板2过滤得到的链接,作为模板3的示例地址。如:http://93358999.b2b.11467.com,如图12:

【图12】

②新建链接抽取。直接点击模板3,点击上面“新建链接抽取”按钮,得到链接抽取,如图13。

【图13】

③关联链接列表的“新建链接抽取”。

根据网页跳转规律,将模板2链接列表的“新建链接抽取”关联模板3。如果配置的时候发现关联有问题,可以自己进行更改,如图14:

【图14】

第六步:使用定位过滤,得到导航列表的链接

①按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域。

②点击确认选区,如图15:

【图15】

③右击模板预览,查看链接抽取结果,如图16所示:

【图16】

④确认链接抽取是否正确,如图17:

【图17】

⑤使用标题过滤,得到“联系我们”的链接,如图18所示:

【图18】

第七步:新建模板4添加示例地址,并添加链接抽取

①新建模板4,将模板3过滤得到的“联系我们”链接,作为模板4的示例地址。如:http://tianjin0311065.11467.com/contact.asp,如图19:

【图19】

②新建数据抽取。直接点击模板3,点击上面“新建数据抽取”按钮,得到数据抽取,如图20。

【图20】

③关联模板3的“新建链接抽取”。

根据网页跳转规律,将模板3的“新建链接抽取”关联模板4。如果配置的时候发现关联有问题,可以自己进行更改,如图21:

【图21】

第八步:创建/选择表单

在ForeSpider爬虫中,表单是可以复用的,所以可以在数据表单出直接选择之前建过的表单,也可以通过表单ID来进行查找并关联数据表单。此处使用的是方法三。

方法一:通过下拉菜单或表单ID选择已有表单

方法二:点击创建表单进入快速建表页面,新建表单,如图22所示。

【图22】

方法三:点击“采集配置”-“数据建表”,点击采“采集表单”后面的,如图23:

【图23】

第九步:配置表单

根据所需内容,配置表单字段(即表头),此处配置了包括网页主键、联系人、电话、地址以及公司介绍五个字段。其中,公司介绍字段intro_text的取值在同一网站的不同页面,需要用到脚本取值,配置类型时需要选择高级取值>模板取值,表单如图24:

【图24】

第十步:字段取值

①关联表单,如图25所示:

【图25】

②取值方法:按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域。

person、tel、addr字段,如图26:

【图26】

③intro_text字段需要进行模板取值。

 

第十一步:创建新的模板,添加示例地址

①表单intro_text字段来自公司介绍,如图27所示。

【图27】

图中红框部分为取值内容,如图28所示:

【图28】

②新建模板,添加“公司介绍”链接为示例地址,如:http://93358999.b2b.11467.com/about.asp(模板3右击模板预览,选择全部链接),如图29所示:

【图29】

③直接点击模板5,点击上面“新建数据抽取”按钮,得到数据抽取,如图30:

【图30】

第十二步:创建/选择表单

点击“采集配置”-“数据建表”,点击采“采集表单”后面的,如图31:

【图31】

第十三步:配置表单

根据所需内容,配置表单字段(即表头),此处配置了“公司介绍”字段intro_text表单如图32:

【图32】

第十四步:关联表单,完成“公司介绍”字段抽取

①点击模板5,关联表单,如图33所示:

【图33】

②使用字段定位取值方法。

按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域,确认选区,如图34所示。

【图34】

③右击模板预览,如图35所示:

【图35】

④模板预览结果,如图36所示:

【图36】

第十五步:模板取值关联

①点击模板4,点击intro_text字段,在红框中填入“href=[5]”,并按住Ctrl+鼠标左键,进行区域选择,如图37所示。

“[ ]”中填写模板ID。

【图37】

②点击模板4,右击模板预览,如图38所示:

【图38】

③预览结果如图39所示:

【图39】

第十六步:采集预览

①点击右上角采集预览,如图40:

【图40】

②双击任意一条链接,看看是否可以得到和网页对应的规整的数据,如图41、42、43所示。

【图41】

【图42】

【图43】

这篇关于使用前嗅ForeSpider在同一个网站中从另一页面采集数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1022687

相关文章

一文教你Python如何快速精准抓取网页数据

《一文教你Python如何快速精准抓取网页数据》这篇文章主要为大家详细介绍了如何利用Python实现快速精准抓取网页数据,文中的示例代码简洁易懂,具有一定的借鉴价值,有需要的小伙伴可以了解下... 目录1. 准备工作2. 基础爬虫实现3. 高级功能扩展3.1 抓取文章详情3.2 保存数据到文件4. 完整示例

使用Python实现IP地址和端口状态检测与监控

《使用Python实现IP地址和端口状态检测与监控》在网络运维和服务器管理中,IP地址和端口的可用性监控是保障业务连续性的基础需求,本文将带你用Python从零打造一个高可用IP监控系统,感兴趣的小伙... 目录概述:为什么需要IP监控系统使用步骤说明1. 环境准备2. 系统部署3. 核心功能配置系统效果展

使用Java将各种数据写入Excel表格的操作示例

《使用Java将各种数据写入Excel表格的操作示例》在数据处理与管理领域,Excel凭借其强大的功能和广泛的应用,成为了数据存储与展示的重要工具,在Java开发过程中,常常需要将不同类型的数据,本文... 目录前言安装免费Java库1. 写入文本、或数值到 Excel单元格2. 写入数组到 Excel表格

redis中使用lua脚本的原理与基本使用详解

《redis中使用lua脚本的原理与基本使用详解》在Redis中使用Lua脚本可以实现原子性操作、减少网络开销以及提高执行效率,下面小编就来和大家详细介绍一下在redis中使用lua脚本的原理... 目录Redis 执行 Lua 脚本的原理基本使用方法使用EVAL命令执行 Lua 脚本使用EVALSHA命令

Java 中的 @SneakyThrows 注解使用方法(简化异常处理的利与弊)

《Java中的@SneakyThrows注解使用方法(简化异常处理的利与弊)》为了简化异常处理,Lombok提供了一个强大的注解@SneakyThrows,本文将详细介绍@SneakyThro... 目录1. @SneakyThrows 简介 1.1 什么是 Lombok?2. @SneakyThrows

python处理带有时区的日期和时间数据

《python处理带有时区的日期和时间数据》这篇文章主要为大家详细介绍了如何在Python中使用pytz库处理时区信息,包括获取当前UTC时间,转换为特定时区等,有需要的小伙伴可以参考一下... 目录时区基本信息python datetime使用timezonepandas处理时区数据知识延展时区基本信息

Qt实现网络数据解析的方法总结

《Qt实现网络数据解析的方法总结》在Qt中解析网络数据通常涉及接收原始字节流,并将其转换为有意义的应用层数据,这篇文章为大家介绍了详细步骤和示例,感兴趣的小伙伴可以了解下... 目录1. 网络数据接收2. 缓冲区管理(处理粘包/拆包)3. 常见数据格式解析3.1 jsON解析3.2 XML解析3.3 自定义

使用Python和Pyecharts创建交互式地图

《使用Python和Pyecharts创建交互式地图》在数据可视化领域,创建交互式地图是一种强大的方式,可以使受众能够以引人入胜且信息丰富的方式探索地理数据,下面我们看看如何使用Python和Pyec... 目录简介Pyecharts 简介创建上海地图代码说明运行结果总结简介在数据可视化领域,创建交互式地

SpringMVC 通过ajax 前后端数据交互的实现方法

《SpringMVC通过ajax前后端数据交互的实现方法》:本文主要介绍SpringMVC通过ajax前后端数据交互的实现方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价... 在前端的开发过程中,经常在html页面通过AJAX进行前后端数据的交互,SpringMVC的controll

Java Stream流使用案例深入详解

《JavaStream流使用案例深入详解》:本文主要介绍JavaStream流使用案例详解,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录前言1. Lambda1.1 语法1.2 没参数只有一条语句或者多条语句1.3 一个参数只有一条语句或者多