搜狗微信搜索爬虫

本文主要是介绍搜狗微信搜索爬虫，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言

最近在做一个语料采集的项目，其中有涉及到公众号内容采集（非指定公众号而是指定关键词的采集），于是考虑使用搜狗采集，记录一下采集过程

列表采集

打开搜狗页面输入关键词，选择微信，直接搜索，查看F12发现需要的列表内容直接就在DOC文档里，postman验证一下直接URL输入就可以采集到，属于是比较容易的采集类型

详情采集

通过列表采集到的url是/link这样的形式，需要拼接还会有跳转，这一步是需要解决的

如图示的原始链接为https://weixin.sogou.com/link?url=dn9a_-gY295K0Rci_xozVXfdMkSQTLW6ft3wfAVofsP5Peu-UiA4DGseIEA7zE2zlj4s3ji8u8GVgrFeYQugDsScNWNhR16IPBQ5xHZTJMofuyJy4xt5exMSe0Q-wpcGJiUoSonxbEsfuSSrjQIuccSq-1fNJZF2hUQpUjvo0qtu8iygQXIjl1SrWJX0d6AM35pMJkC9ozB6UxBa1hZYHbMhGiRiC_qmt8AmPpzYfLfmn_8ekF_xC_Q1IvX2-Tzra8RdgdEqMnT4Z9KRwPzScjgZHTk8WJz5yDYUgTcZbC3xbso0aod2jCXucl6fR1sLiZqwg0yoRFw.&type=2&query=%E7%99%BD%E6%9C%AF&token=257BEA52D17286B8C8C1E719A6019408C81F185666D13FAB
输入到浏览器的地址栏之后会跳转到https://mp.weixin.qq.com/s?src=3&timestamp=1724989355&ver=1&signature=H1efLtkgEVg8AFd308YzX-KoqdIOg9nVsLPiC9D5eFwfkKlZHD3z1mE1QcOd2EkpFE-Lv64BBp7789obYbg42mkHTeflcuuyMt5HmcMKTmcd3tv0VVUdULJ3lXMuZH2KWzzSibjV4Nb14b0aGU8TP6LrFyJJ4CXAbTG97Z*c4=

其中需要一步转换过程，postman直接调用一下转换前的链接

算是有点意料之外的转换方式了，写个正则抽出来拼接一下就行了

这篇关于搜狗微信搜索爬虫的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---