霍格沃茨招生办电话通知开学啦，让我们用Python来看看它都通知了什么~

大家好，我是志斌~

9月正值开学季，同学们已经开始陆续去自己的学校报道了。同样，霍格沃茨今年也迎来了开学季，那同学们有人收到霍格沃茨入学电话吗？

让我们一起看看微博上网友们是怎么描述自己收到的电话的~

01

数据采集

我们是从微博移动端来进行数据采集的。我们按F12，打开开发者模式，对网页进行观察

我们发现数据存储的网页是一个hotflow开头的页面，它的数据存储的方式是Ajax，那我们就可以知道请求的页面和提取数据的方式了。

在上面，我们已经找到数据存储的网页和方式，那么只需要找到页面之间的联系，构造好循环，就可以批量开始爬取啦~

接下来对不同页面之间的URL进行观察

它们URL里面的id和mid是固定不变的，但是max_id是变化的，然后我又在页面里面发现了max_id值的规律，每一页的max_id的值都在上一页中存储着。

但是这样还不能够全部都访问，具体的原因和改进措施，这里因为篇幅，志斌就不介绍了，有兴趣的读者可以看看这两篇文章，有详细解释批量爬取不同微博下的评论！爬取微博下全部评论数据~。

数据采集的核心代码：

import requests
import re
import time
import csv
for page in range(1,10000):if page == 1 :params = (('id', '4679186482727431'),('mid', '4679186482727431'),('max_id_type', '0'),)response = requests.get('https://m.weibo.cn/comments/hotflow', headers=headers, params=params)a = response.json()['data']['max_id']b = response.json()['data']['max_id_type']for i in response.json()['data']['data']:pinglunshijian = i['created_at']ri = pinglunshijian.split()[2]shi = pinglunshijian.split()[3].split(':')[0]dianzanshu = i['like_count']neirong = re.sub(r'<[^>]*>', '', i['text'])id = i['user']['id']yonghumingcheng = i['user']['screen_name']with open('霍格沃茨.csv','a',newline='') as f:writer = csv.writer(f)writer.writerow([yonghumingcheng,dianzanshu,ri,shi])with open(r'霍格沃茨.txt', 'a', encoding='utf-8') as f:f.write(f'{neirong}\n')

02

词云图展示

我们此次一共获取了3016条数据，对这些数据进行词云图绘制

我们发现，很多骚扰、诈骗一词很多，看来大家都不太相信魔法同时防骗意识也很强~

像麻瓜、苦涩、为什么、拦截一词也很多，看来网友们遇到的情况各种各样呀，那么你接到电话了吗？内容是什么呀？

词云图代码：

with open("霍格沃茨.txt",encoding='utf-8') as f:job_title_1 = f.read()
contents_cut_job_title = jieba.cut(job_title_1)
contents_list_job_title = " ".join(contents_cut_job_title)
wc = WordCloud(stopwords=STOPWORDS.add("一个"), collocations=False,background_color="white",font_path=r"K:\苏新诗柳楷简.ttf",width=400, height=300, random_state=42,mask=imread('xin.jpg', pilmode="RGB"))
wc.generate(contents_list_job_title)
wc.to_file("推荐语.png")

03

小结

1. 两年前预约游戏的人就可以收到这个电话啦，不是真的有霍格沃茨打来的，不过说不定真的有小伙伴收到霍格沃茨的招生电话哟~

2. 新的学期已经到来，希望大家都可以在这个学期有所收获呀~

3. 本文仅作学习参考，不做它用。