120项优化: 超级爬虫Hawk 2.0重磅发布!

2023-11-06 19:18

本文主要是介绍120项优化: 超级爬虫Hawk 2.0重磅发布!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

沙漠君在历时半年,修改无数bug,更新一票新功能后,在今天隆重推出最新改进的超级爬虫Hawk 2.0!

啥?你不知道Hawk干吗用的? 这是采集数据的挖掘机,网络猎杀的重狙!半年多以前,沙漠君写了一篇小软文(原文链接在此),推出了Hawk 

关注的人超级多有木有! Github上的小星星一下子增加到400!超多妹子在沙漠君的粉丝应援团里疯狂崇拜!然而这不是重点!重点是Hawk真的好多”小”问题… 

有朋友哭诉,刚启动小鹰它就冒烟了,还是烤肉味的!好不容易把小虫虫做好,碰了一下显示器,结果小虫虫就扑街了 

每次听到反馈,我都超想好好地把小鹰改造一番。但是!!你们想不到沙漠君工作有多忙!只有在洗手间的时候,我才空在手纸上写代码!

然而!自己挖的坑,哭着也要把它填完!这不,Hawk 2.0横空出世了!

二鹰新增哪些特性呢?

每当我在妹子们前炫耀Hawk的时候,每点一次鼠标,妹子们就一片赞叹,对,就这个效果。

裹脚布杀手:全面支持动态页面

二鹰全面支持动态网页,ajax和瀑布流。这是啥?你在刷微博看杨臭脚的时候,浏览器的地址显示你家幂幂的名字了吗? 没有吧?这就是动态网页,地址是隐藏在网页之中的!

怎么办?你只要把随便一条微博的一个关键词输入到“搜索关键字”那里,点“开始”自动嗅探。二鹰就会帮你抓到这个请求。不论再臭再长的裹脚布都不怕。


大家都很喜爱鹰1的“手气不错”功能,但之前只能处理html,而很难处理内嵌js和json, 现在只要你勾选“超级模式”,不论返回的是何种数据类型。直接点“手气不错”,数据表格就完整出来了!其他什么都不用干!

啊啊啊太强大了,理论上没有二鹰抓不到的网站,除非你的关键字实在太蠢,或者网站做得太高级…

反反爬虫:增加代理

诶诶诶,你又被网站封IP了?谁让你这么不温柔?没有关系,在网页采集器里配置代理,小虫虫就又能接着干活了。

我知道你肯定会问,哪里找代理?那沙漠君就不造了。出门淘宝,想免费的话去翻一翻代理网站,或者搜索“ADSL拨号” 。但是不要用Hawk来做任何非法的用途哦(这段好多敏感词 

(爬数据适可而止,小心被查水表哦)

120项改进和优化

沙漠君本来在吃着火锅改着代码,但惊讶于Hawk中居然藏了那么多的bug,吓得我火锅里的毛肚都烫老了! 不过话说回来,只有这样你们才会想起我呀~

于是在发布第一版后的三个月,我断断续续修复了大概120个bug,错误清单上面长长的一片:

  • 在某些win7机器上运行不了啊

  • 开启嗅探再关闭软件,突然上不了网了啦

  • 把爬虫转换拖进去没反应啦,其实就是你没配置好…

不好意思,根本列不完,列完你也看不完。

不过,优化了这么多,我还是保证了前向兼容,之前大家设计的工程文件都能继续使用。反正不会随随便便就崩溃了。

其实Hawk的子流系统是个超酷的功能,可惜我觉得100个人里有一个会用就不错了。这是个啥呢? 简单说,你可以搭积木,先设计小虫虫,再拼成大虫虫。甚至支持自己和自己拼起来(专业点叫尾递归。邪恶点叫69?啊不要想歪  )

借助子流和内置的Python脚本系统,二鹰能达到图灵完备,实现任意复杂的逻辑,甚至能做刷票!反正口说无凭,你仔细去感受一下就是了。

沙漠君写了完整的文档!

大家最多的反馈,是XXX怎么用啊?泥萌也知道对程序猿来说,写文档就像和产品经理吵架一样痛苦。 我还是咬咬牙,决定写完整的文档!

程序员写文档一般都不是给地球人看的。但是沙漠君忍了。 恩,6个完整的手把手的例子,到每个模块的概要说明,想要的基本都能找到。如果有任何问题,直接在GitHub上留言提问,沙漠君实在受不了一个问题重复回答一百遍啊一百遍!


文档也许现在不全,不过没关系,我会慢慢补充的,总得给我点时间啦。如果还有bug捏?我保证一口老血吐在你的屏幕上! 当然,如果bug够高级,你心爱的沙漠君可能会给你发红包哦。

在哪里获得?~~

Hawk号称是数据界的小确幸,它已经被全国政协,妇联工商联,各大企事业单位和个人广泛使用。

Hawk完全免费开源! 目前所有的文档和发行版,都在GitHub上能找到,点击阅读原文即可,下载包在Release栏目下。 之前的百度云,CSDN下载都可能不再维护。如果你喜欢它,最少是不是该成为沙漠之鹰微信公号的粉丝呀?是不是该在GitHub上Star一下呀? 

如果还找不到? 沙漠之鹰后台留言或留邮箱,链接和安装包直接发给你!

号外:沙漠之鹰获得原创权限啦

最后我要说的是,在大家的热心帮助下,沙漠之鹰在2016年11月21号,正式获得了原创评论功能,果然吐槽是有用的,总共才花了10天时间!要不然才叫遥遥无期呢。感谢党和人民的信任,各位票友对沙漠君的支持~ 我会继续努力,写更好的文章,欢迎大家用留言砸晕我的微信公号后台~





沙漠之鹰"个人公众号,所有文章全部原创。任何形式的转载,演绎,必须经过公众号联系原作者获得授权,保留一切权利。




内容转载自公众号

沙漠之鹰
沙漠之鹰
了解更多

这篇关于120项优化: 超级爬虫Hawk 2.0重磅发布!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/358535

相关文章

SpringBoot中HTTP连接池的配置与优化

《SpringBoot中HTTP连接池的配置与优化》这篇文章主要为大家详细介绍了SpringBoot中HTTP连接池的配置与优化的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一... 目录一、HTTP连接池的核心价值二、Spring Boot集成方案方案1:Apache HttpCl

PyTorch高级特性与性能优化方式

《PyTorch高级特性与性能优化方式》:本文主要介绍PyTorch高级特性与性能优化方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、自动化机制1.自动微分机制2.动态计算图二、性能优化1.内存管理2.GPU加速3.多GPU训练三、分布式训练1.分布式数据

macOS Sequoia 15.5 发布: 改进邮件和屏幕使用时间功能

《macOSSequoia15.5发布:改进邮件和屏幕使用时间功能》经过常规Beta测试后,新的macOSSequoia15.5现已公开发布,但重要的新功能将被保留到WWDC和... MACOS Sequoia 15.5 正式发布!本次更新为 Mac 用户带来了一系列功能强化、错误修复和安全性提升,进一步增

MySQL中like模糊查询的优化方案

《MySQL中like模糊查询的优化方案》在MySQL中,like模糊查询是一种常用的查询方式,但在某些情况下可能会导致性能问题,本文将介绍八种优化MySQL中like模糊查询的方法,需要的朋友可以参... 目录1. 避免以通配符开头的查询2. 使用全文索引(Full-text Index)3. 使用前缀索

C#实现高性能Excel百万数据导出优化实战指南

《C#实现高性能Excel百万数据导出优化实战指南》在日常工作中,Excel数据导出是一个常见的需求,然而,当数据量较大时,性能和内存问题往往会成为限制导出效率的瓶颈,下面我们看看C#如何结合EPPl... 目录一、技术方案核心对比二、各方案选型建议三、性能对比数据四、核心代码实现1. MiniExcel

Maven 依赖发布与仓库治理的过程解析

《Maven依赖发布与仓库治理的过程解析》:本文主要介绍Maven依赖发布与仓库治理的过程解析,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下... 目录Maven 依赖发布与仓库治理引言第一章:distributionManagement配置的工程化实践1

MySQL索引的优化之LIKE模糊查询功能实现

《MySQL索引的优化之LIKE模糊查询功能实现》:本文主要介绍MySQL索引的优化之LIKE模糊查询功能实现,本文通过示例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录一、前缀匹配优化二、后缀匹配优化三、中间匹配优化四、覆盖索引优化五、减少查询范围六、避免通配符开头七、使用外部搜索引擎八、分

使用Python构建一个Hexo博客发布工具

《使用Python构建一个Hexo博客发布工具》虽然Hexo的命令行工具非常强大,但对于日常的博客撰写和发布过程,我总觉得缺少一个直观的图形界面来简化操作,下面我们就来看看如何使用Python构建一个... 目录引言Hexo博客系统简介设计需求技术选择代码实现主框架界面设计核心功能实现1. 发布文章2. 加

售价599元起! 华为路由器X1/Pro发布 配置与区别一览

《售价599元起!华为路由器X1/Pro发布配置与区别一览》华为路由器X1/Pro发布,有朋友留言问华为路由X1和X1Pro怎么选择,关于这个问题,本期图文将对这二款路由器做了期参数对比,大家看... 华为路由 X1 系列已经正式发布并开启预售,将在 4 月 25 日 10:08 正式开售,两款产品分别为华

利用Python快速搭建Markdown笔记发布系统

《利用Python快速搭建Markdown笔记发布系统》这篇文章主要为大家详细介绍了使用Python生态的成熟工具,在30分钟内搭建一个支持Markdown渲染、分类标签、全文搜索的私有化知识发布系统... 目录引言:为什么要自建知识博客一、技术选型:极简主义开发栈二、系统架构设计三、核心代码实现(分步解析