利用八爪鱼实现拉取网站文章并推送到数据库(免费版本),适合小白

本文主要是介绍利用八爪鱼实现拉取网站文章并推送到数据库(免费版本),适合小白,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

尝试过火车头,太过于复杂,对新手不太友好,试过八爪鱼后感觉还不错,比较适合新手

1.下载安装八爪鱼,注册账号,登录

下载链接:

https://www.bazhuayu.com/

登录进去是这样:

在开始采集处输入要拉文章的链接

我这里以如下网站为例

https://mp.ofweek.com/ctrade/fiber/

 点击开始采集,左边为流程图,右侧为网页,点击网页内的链接按照右上角的提示提取文章标题和链接(点击时会提示选中相同元素,如果需要批量下载就点击)

 这时我发现文章的标题很多,需要翻页不断加载,如果只提取这几个显然不够用,需要添加翻页循环操作,点击这里,选择循环

 

 点击 循环列表右上角的设置,设置循环翻页,点击应用,最后记得把刚才设置提取文章标题的循环拖动到循环翻页的内部

 这时已经设置好了循环翻页提取文章标题和链接了,下面提取文章内容,点击右侧采集下一集网

选择从采集的字段里跳转到文章内容里,依次点击标题,采集;时间,采集;正文,采集

(这里要注意,如果要一次性选中全文内容的话需要点击正文后选择一下右下角最右边的DIV,然后点击提取该元素)

 再点击左上角,采集,启动本地采集(定时和云都是要付费的) ,下面 是采集结果,点击导入,导入到mysql中即可,注意字符编码是UTF-8,文章的字符类型设定为longtxt,导入即可       

 

有问题可以联系我沟通下~ 

 

 

 

 

 

 

这篇关于利用八爪鱼实现拉取网站文章并推送到数据库(免费版本),适合小白的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/250915

相关文章

C#借助Spire.XLS for .NET实现在Excel中添加文档属性

《C#借助Spire.XLSfor.NET实现在Excel中添加文档属性》在日常的数据处理和项目管理中,Excel文档扮演着举足轻重的角色,本文将深入探讨如何在C#中借助强大的第三方库Spire.... 目录为什么需要程序化添加Excel文档属性使用Spire.XLS for .NET库实现文档属性管理Sp

Python+FFmpeg实现视频自动化处理的完整指南

《Python+FFmpeg实现视频自动化处理的完整指南》本文总结了一套在Python中使用subprocess.run调用FFmpeg进行视频自动化处理的解决方案,涵盖了跨平台硬件加速、中间素材处理... 目录一、 跨平台硬件加速:统一接口设计1. 核心映射逻辑2. python 实现代码二、 中间素材处

Java数组动态扩容的实现示例

《Java数组动态扩容的实现示例》本文主要介绍了Java数组动态扩容的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录1 问题2 方法3 结语1 问题实现动态的给数组添加元素效果,实现对数组扩容,原始数组使用静态分配

Python实现快速扫描目标主机的开放端口和服务

《Python实现快速扫描目标主机的开放端口和服务》这篇文章主要为大家详细介绍了如何使用Python编写一个功能强大的端口扫描器脚本,实现快速扫描目标主机的开放端口和服务,感兴趣的小伙伴可以了解下... 目录功能介绍场景应用1. 网络安全审计2. 系统管理维护3. 网络故障排查4. 合规性检查报错处理1.

Python轻松实现Word到Markdown的转换

《Python轻松实现Word到Markdown的转换》在文档管理、内容发布等场景中,将Word转换为Markdown格式是常见需求,本文将介绍如何使用FreeSpire.DocforPython实现... 目录一、工具简介二、核心转换实现1. 基础单文件转换2. 批量转换Word文件三、工具特性分析优点局

JavaWeb项目创建、部署、连接数据库保姆级教程(tomcat)

《JavaWeb项目创建、部署、连接数据库保姆级教程(tomcat)》:本文主要介绍如何在IntelliJIDEA2020.1中创建和部署一个JavaWeb项目,包括创建项目、配置Tomcat服务... 目录简介:一、创建项目二、tomcat部署1、将tomcat解压在一个自己找得到路径2、在idea中添加

Springboot3统一返回类设计全过程(从问题到实现)

《Springboot3统一返回类设计全过程(从问题到实现)》文章介绍了如何在SpringBoot3中设计一个统一返回类,以实现前后端接口返回格式的一致性,该类包含状态码、描述信息、业务数据和时间戳,... 目录Spring Boot 3 统一返回类设计:从问题到实现一、核心需求:统一返回类要解决什么问题?

Java使用Spire.Doc for Java实现Word自动化插入图片

《Java使用Spire.DocforJava实现Word自动化插入图片》在日常工作中,Word文档是不可或缺的工具,而图片作为信息传达的重要载体,其在文档中的插入与布局显得尤为关键,下面我们就来... 目录1. Spire.Doc for Java库介绍与安装2. 使用特定的环绕方式插入图片3. 在指定位

Java使用Spire.Barcode for Java实现条形码生成与识别

《Java使用Spire.BarcodeforJava实现条形码生成与识别》在现代商业和技术领域,条形码无处不在,本教程将引导您深入了解如何在您的Java项目中利用Spire.Barcodefor... 目录1. Spire.Barcode for Java 简介与环境配置2. 使用 Spire.Barco

Java利用Spire.Doc for Java实现在模板的基础上创建Word文档

《Java利用Spire.DocforJava实现在模板的基础上创建Word文档》在日常开发中,我们经常需要根据特定数据动态生成Word文档,本文将深入探讨如何利用强大的Java库Spire.Do... 目录1. Spire.Doc for Java 库介绍与安装特点与优势Maven 依赖配置2. 通过替换