用go语言爬取珍爱网 | 第三回

2023-10-11 19:30
文章标签 语言 go 爬取 第三回 珍爱

本文主要是介绍用go语言爬取珍爱网 | 第三回，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前两节我们获取到了城市的URL和城市名，今天我们来解析用户信息。

用go语言爬取珍爱网 | 第一回

用go语言爬取珍爱网 | 第二回

image

爬虫的算法：

我们要提取返回体中的城市列表，需要用到城市列表解析器；

需要把每个城市里的所有用户解析出来，需要用到城市解析器；

还需要把每个用户的个人信息解析出来，需要用到用户解析器。

image

爬虫整体架构：

Seed把需要爬的request送到engine，engine负责将request里的url送到fetcher去爬取数据，返回utf-8的信息，然后engine将返回信息送到解析器Parser里解析有用信息，返回更多待请求requests和有用信息items，任务队列用于存储待请求的request，engine驱动各模块处理数据，直到任务队列为空。

image

代码实现：

按照上面的思路，设计出城市列表解析器citylist.go代码如下：

package parserimport ("crawler/engine""regexp""log"
)const (//<a href="http://album.zhenai.com/u/1361133512" target="_blank">怎么会迷上你</a>cityReg = `<a href="(http://album.zhenai.com/u/[0-9] )"[^>]*>([^<] )</a>`
)func ParseCity(contents []byte) engine.ParserResult {compile := regexp.MustCompile(cityReg)submatch := compile.FindAllSubmatch(contents, -1)//这里要把解析到的每个URL都生成一个新的requestresult := engine.ParserResult{}for _, m := range submatch {name := string(m[2])log.Printf("UserName:%s URL:%s\n", string(m[2]), string(m[1]))//把用户信息人名加到item里result.Items = append(result.Items, name)result.Requests = append(result.Requests,engine.Request{//用户信息对应的URL,用于之后的用户信息爬取Url : string(m[1]),//这个parser是对城市下面的用户的parseParserFunc : func(bytes []byte) engine.ParserResult {//这里使用闭包的方式;这里不能用m[2],否则所有for循环里的用户都会共用一个名字//需要拷贝m[2] ---- name := string(m[2])return ParseProfile(bytes, name)},})}return result
}

城市解析器city.go如下：

package parserimport ("crawler/engine""regexp""log"
)const (//<a href="http://album.zhenai.com/u/1361133512" target="_blank">怎么会迷上你</a>cityReg = `<a href="(http://album.zhenai.com/u/[0-9] )"[^>]*>([^<] )</a>`
)func ParseCity(contents []byte) engine.ParserResult {compile := regexp.MustCompile(cityReg)submatch := compile.FindAllSubmatch(contents, -1)//这里要把解析到的每个URL都生成一个新的requestresult := engine.ParserResult{}for _, m := range submatch {name := string(m[2])log.Printf("UserName:%s URL:%s\n", string(m[2]), string(m[1]))//把用户信息人名加到item里result.Items = append(result.Items, name)result.Requests = append(result.Requests,engine.Request{//用户信息对应的URL,用于之后的用户信息爬取Url : string(m[1]),//这个parser是对城市下面的用户的parseParserFunc : func(bytes []byte) engine.ParserResult {//这里使用闭包的方式;这里不能用m[2],否则所有for循环里的用户都会共用一个名字//需要拷贝m[2] ---- name := string(m[2])return ParseProfile(bytes, name)},})}return result
}

用户解析器profile.go如下：

package parserimport ("crawler/engine""crawler/model""regexp""strconv"
)var (// <td><span class="label">年龄：</span>25岁</td>ageReg = regexp.MustCompile(`<td><span class="label">年龄：</span>([\d] )岁</td>`)// <td><span class="label">身高：</span>182CM</td>heightReg = regexp.MustCompile(`<td><span class="label">身高：</span>(. )CM</td>`)// <td><span class="label">月收入：</span>5001-8000元</td>incomeReg = regexp.MustCompile(`<td><span class="label">月收入：</span>([0-9-] )元</td>`)//<td><span class="label">婚况：</span>未婚</td>marriageReg = regexp.MustCompile(`<td><span class="label">婚况：</span>(. )</td>`)//<td><span class="label">学历：</span>大学本科</td>educationReg = regexp.MustCompile(`<td><span class="label">学历：</span>(. )</td>`)//<td><span class="label">工作地：</span>安徽蚌埠</td>workLocationReg = regexp.MustCompile(`<td><span class="label">工作地：</span>(. )</td>`)// <td><span class="label">职业： </span>--</td>occupationReg = regexp.MustCompile(`<td><span class="label">职业： </span><span field="">(. )</span></td>`)//  <td><span class="label">星座：</span>射手座</td>xinzuoReg = regexp.MustCompile(`<td><span class="label">星座：</span><span field="">(. )</span></td>`)//<td><span class="label">籍贯：</span>安徽蚌埠</td>hokouReg = regexp.MustCompile(`<td><span class="label">民族：</span><span field="">(. )</span></td>`)// <td><span class="label">住房条件：</span><span field="">--</span></td>houseReg = regexp.MustCompile(`<td><span class="label">住房条件：</span><span field="">(. )</span></td>`)// <td width="150"><span class="grayL">性别：</span>男</td>genderReg = regexp.MustCompile(`<td width="150"><span class="grayL">性别：</span>(. )</td>`)// <td><span class="label">体重：</span><span field="">67KG</span></td>weightReg = regexp.MustCompile(`<td><span class="label">体重：</span><span field="">(. )KG</span></td>`)//<h1 class="ceiling-name ib fl fs24 lh32 blue">怎么会迷上你</h1>//nameReg = regexp.MustCompile(`<h1 class="ceiling-name ib fl fs24 lh32 blue">([^\d] )</h1>  `)//<td><span class="label">是否购车：</span><span field="">未购车</span></td>carReg = regexp.MustCompile(`<td><span class="label">是否购车：</span><span field="">(. )</span></td>`)
)func ParseProfile(contents []byte, name string) engine.ParserResult {profile := model.Profile{}age, err := strconv.Atoi(extractString(contents, ageReg))if err != nil {profile.Age = 0}else {profile.Age = age}height, err := strconv.Atoi(extractString(contents, heightReg))if err != nil {profile.Height = 0}else {profile.Height = height}weight, err := strconv.Atoi(extractString(contents, weightReg))if err != nil {profile.Weight = 0}else {profile.Weight = weight}profile.Income = extractString(contents, incomeReg)profile.Car = extractString(contents, carReg)profile.Education = extractString(contents, educationReg)profile.Gender = extractString(contents, genderReg)profile.Hokou = extractString(contents, hokouReg)profile.Income = extractString(contents, incomeReg)profile.Marriage = extractString(contents, marriageReg)profile.Name = nameprofile.Occupation = extractString(contents, occupationReg)profile.WorkLocation = extractString(contents, workLocationReg)profile.Xinzuo = extractString(contents, xinzuoReg)result := engine.ParserResult{Items: []interface{}{profile},}return result
}//get value by reg from contents
func extractString(contents []byte, re *regexp.Regexp) string {m := re.FindSubmatch(contents)if len(m) > 0 {return string(m[1])} else {return ""}
}

engine代码如下：

package engineimport ("crawler/fetcher""log"
)func Run(seeds ...Request){//这里维持一个队列var requestsQueue []RequestrequestsQueue = append(requestsQueue, seeds...)for len(requestsQueue) > 0 {//取第一个r := requestsQueue[0]//只保留没处理的requestrequestsQueue = requestsQueue[1:]log.Printf("fetching url:%s\n", r.Url)//爬取数据body, err := fetcher.Fetch(r.Url)if err != nil {log.Printf("fetch url: %s; err: %v\n", r.Url, err)//发生错误继续爬取下一个urlcontinue}//解析爬取到的结果result := r.ParserFunc(body)//把爬取结果里的request继续加到request队列requestsQueue = append(requestsQueue, result.Requests...)//打印每个结果里的item,即打印城市名、城市下的人名...for _, item := range result.Items {log.Printf("get item is %v\n", item)}}
}

Fetcher用于发起http get请求，这里有一点注意的是：珍爱网可能做了反爬虫限制手段，所以直接用http.Get(url)方式发请求，会报403拒绝访问；故需要模拟浏览器方式：

client := &http.Client{}req, err := http.NewRequest("GET", url, nil)if err != nil {log.Fatalln("NewRequest is err ", err)return nil, fmt.Errorf("NewRequest is err %v\n", err)}req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36")//返送请求获取返回结果resp, err := client.Do(req)

最终fetcher代码如下：

package fetcherimport ("bufio""fmt""golang.org/x/net/html/charset""golang.org/x/text/encoding""golang.org/x/text/encoding/unicode""golang.org/x/text/transform""io/ioutil""log""net/http"
)/**
爬取网络资源函数
*/
func Fetch(url string) ([]byte, error) {client := &http.Client{}req, err := http.NewRequest("GET", url, nil)if err != nil {log.Fatalln("NewRequest is err ", err)return nil, fmt.Errorf("NewRequest is err %v\n", err)}req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36")//返送请求获取返回结果resp, err := client.Do(req)//直接用http.Get(url)进行获取信息，爬取时可能返回403，禁止访问//resp, err := http.Get(url)if err != nil {return nil, fmt.Errorf("Error: http Get, err is %v\n", err)}//关闭response bodydefer resp.Body.Close()if resp.StatusCode != http.StatusOK {return nil, fmt.Errorf("Error: StatusCode is %d\n", resp.StatusCode)}//utf8Reader := transform.NewReader(resp.Body, simplifiedchinese.GBK.NewDecoder())bodyReader := bufio.NewReader(resp.Body)utf8Reader := transform.NewReader(bodyReader, determineEncoding(bodyReader).NewDecoder())return ioutil.ReadAll(utf8Reader)
}/**
确认编码格式
*/
func determineEncoding(r *bufio.Reader) encoding.Encoding {//这里的r读取完得保证resp.Body还可读body, err := r.Peek(1024)//如果解析编码类型时遇到错误,返回UTF-8if err != nil {log.Printf("determineEncoding error is %v", err)return unicode.UTF8}//这里简化,不取是否确认e, _, _ := charset.DetermineEncoding(body, "")return e
}

main方法如下：

package mainimport ("crawler/engine""crawler/zhenai/parser"
)func main() {request := engine.Request{Url: "http://www.zhenai.com/zhenghun",ParserFunc: parser.ParseCityList,}engine.Run(request)
}

最终爬取到的用户信息如下，包括昵称、年龄、身高、体重、工资、婚姻状况等。

image

如果你想要哪个妹子的照片，可以点开url查看，然后打招呼进一步发展。

至此单任务版的爬虫就做完了，后面我们将对单任务版爬虫做性能分析，然后升级为多任务并发版，把爬取到的信息存到ElasticSearch中，在页面上查询

作者简洁

作者：小碗汤，一位热爱、认真写作的小伙，目前维护原创公众号：『我的小碗汤』，专注于写golang、docker、kubernetes等知识等提升硬实力的文章，期待你的关注。 转载说明：务必注明来源（注明：来源于公众号：我的小碗汤， 作者：小碗汤）

这篇关于用go语言爬取珍爱网 | 第三回的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/190343。

相关文章

Go语言中使用JWT进行身份验证的几种方式

Go语言中使用JWT进行身份验证的几种方式

《Go语言中使用JWT进行身份验证的几种方式》本文主要介绍了Go语言中使用JWT进行身份验证的几种方式,包括dgrijalva/jwt-go、golang-jwt/jwt、lestrrat-go/jw... 目录简介1. github.com/dgrijalva/jwt-go安装：使用示例：解释：2. gi
阅读更多...
go rate 原生标准限速库的使用

go rate 原生标准限速库的使用

《gorate原生标准限速库的使用》本文主要介绍了Go标准库golang.org/x/time/rate实现限流,采用令牌桶算法控制请求速率,提供Allow/Reserve/Wait方法,具有一定... 目录介绍安装API介绍rate.NewLimiter：创建限流器limiter.Allow()：请求是否
阅读更多...
Go 语言中的 Struct Tag 的用法详解

Go 语言中的 Struct Tag 的用法详解

《Go语言中的StructTag的用法详解》在Go语言中,结构体字段标签（StructTag）是一种用于给字段添加元信息（metadata）的机制,常用于序列化（如JSON、XML）、ORM映... 目录一、结构体标签的基本语法二、json:"token"的具体含义三、常见的标签格式变体四、使用示例五、使用
阅读更多...
Ubuntu上手动安装Go环境并解决“可执行文件格式错误”问题

Ubuntu上手动安装Go环境并解决“可执行文件格式错误”问题

《Ubuntu上手动安装Go环境并解决“可执行文件格式错误”问题》：本文主要介绍Ubuntu上手动安装Go环境并解决“可执行文件格式错误”问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未... 目录一、前言二、系统架构检测三、卸载旧版 Go四、下载并安装正确版本五、配置环境变量六、验证安装七、常见
阅读更多...
Go语言使用slices包轻松实现排序功能

Go语言使用slices包轻松实现排序功能

《Go语言使用slices包轻松实现排序功能》在Go语言开发中,对数据进行排序是常见的需求,Go1.18版本引入的slices包提供了简洁高效的排序解决方案,支持内置类型和用户自定义类型的排序操作,本... 目录一、内置类型排序：字符串与整数的应用1. 字符串切片排序2. 整数切片排序二、检查切片排序状态：
阅读更多...
基于Go语言实现Base62编码的三种方式以及对比分析

基于Go语言实现Base62编码的三种方式以及对比分析

《基于Go语言实现Base62编码的三种方式以及对比分析》Base62编码是一种在字符编码中使用62个字符的编码方式,在计算机科学中,,Go语言是一种静态类型、编译型语言,它由Google开发并开源,... 目录一、标准库现状与解决方案1. 标准库对比表2. 解决方案完整实现代码（含边界处理）二、关键实现细
阅读更多...
如何合理管控Java语言的异常

如何合理管控Java语言的异常

《如何合理管控Java语言的异常》：本文主要介绍如何合理管控Java语言的异常问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、介绍2、Thorwable类3、Error4、Exception类4.1、检查异常4.2、运行时异常5、处理方式5.1. 捕获异常
阅读更多...
C语言中的常见进制转换详解(从二进制到十六进制)

C语言中的常见进制转换详解(从二进制到十六进制)

《C语言中的常见进制转换详解(从二进制到十六进制)》进制转换是计算机编程中的一个常见任务,特别是在处理低级别的数据操作时,C语言作为一门底层编程语言,在进制转换方面提供了灵活的操作方式,今天,我们将深... 目录1、进制基础2、C语言中的进制转换2.1 从十进制转换为其他进制十进制转二进制十进制转八进制十进
阅读更多...
$在R语言中的作用示例小结

$在R语言中的作用示例小结

《$在R语言中的作用示例小结》在R语言中,$是一个非常重要的操作符,主要用于访问对象的成员或组件,它的用途非常广泛,不仅限于数据框（dataframe）,还可以用于列表（list）、环境（enviro... 目录1. 访问数据框（data frame）中的列2. 访问列表（list）中的元素3. 访问jav
阅读更多...
C语言中位操作的实际应用举例

C语言中位操作的实际应用举例

《C语言中位操作的实际应用举例》：本文主要介绍C语言中位操作的实际应用,总结了位操作的使用场景,并指出了需要注意的问题,如可读性、平台依赖性和溢出风险,文中通过代码介绍的非常详细,需要的朋友可以参... 目录1. 嵌入式系统与硬件寄存器操作2. 网络协议解析3. 图像处理与颜色编码4. 高效处理布尔标志集合
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2