Python爬虫抓取slack组里的用户信息

需求说明

国外很多产品社区运营都是用slack，并且设置多个频道作为群组来交流， 昨天突发奇想，想抓一个感兴趣的群组里的人员信息，里面超过1万人，手动抓取肯定不现实。 作为程序员，作为python程序员，一定是要想办法自动化的，在网上搜了一圈，发现这个开源的python自动化库不错，clicknium 就开始动手尝试.

环境准备

本人开发环境：windows 10， visual studio code

• 参见getting started

创建目录

直接新建一个folder

方案思路

进去slack的频道，右上角会显示人数，点击会弹窗，

​

编辑

添加图片注释，不超过 140 字（可选）

循环遍历弹窗里的人员信息，先存取人员列表信息，然后再根据人员名称搜索人名显示个人详细信息获取邮箱电话等信息，存入列表中。

​

from clicknium import clicknium as cc, locator
from clicknium.common.enums import *
import json
import oscc.find_element(locator.slack.text_all).click()
members = cc.find_element(locator.slack.tabitem_members).get_text()
print(members)
count = int(members.split(' ')[1].replace(',', ''))
cc.find_element(locator.slack.edit_成员名称).click(by='mouse-emulation')
cc.send_hotkey("{DOWN}")step = 0
names = []
if os.path.exists("data.json"):with open("data.json", 'r') as myfile:data=myfile.read()# parse filenames = json.loads(data)
step = len(names)
if step > 0:for _ in range(step):cc.send_hotkey("{DOWN}")def NotContains(name):for item in names:if item['name'] == name:return Falsereturn Truedef SaveToFile():jsonString = json.dumps(names)jsonFile = open("data.json", "w")jsonFile.write(jsonString)jsonFile.close()while step<count:for i in range(1,13):dict = {"index":i}if not cc.is_existing(locator.slack.listitem_member, dict):continueelem_member = cc.find_element(locator.slack.listitem_member, dict)name = elem_member.get_text()#print(name)if NotContains(name):names.append({'name':name,'email':'', 'postfix':''})step += 1print(name)if step % 100 == 0:SaveToFile()cc.find_element(locator.slack.edit_成员名称).click(by='mouse-emulation')for i in range(10):cc.send_hotkey("{DOWN}")SaveToFile()

说明：

• 先点击右上角显示人数的按钮，弹出人员信息列表弹窗

• 获取人数

• 循环获取listiten的信息

• 由于这个列表是动态加载的，所以没获取10个，就通过发送多次Down的快捷键向下滚动，让页面动态加载后续的人员信息

• 在存储列表时根据名称进行去重

from operator import contains
from clicknium import clicknium as cc, locator, ui
from clicknium.common.enums import *
import json
import osnames = []
if os.path.exists("data.json"):with open("data.json", 'r') as myfile:data=myfile.read()# parse filenames = json.loads(data)def SaveToFile():jsonString = json.dumps(names)jsonFile = open("data.json", "w")jsonFile.write(jsonString)jsonFile.close()step = 0
for item in names:if len(item['email']) == 0:cc.find_element(locator.slack.text_all).click()cc.find_element(locator.slack.edit_成员名称).set_text(item['name'], "set-text")cc.find_element(locator.slack.list_member1).click()email = cc.find_element(locator.slack.text_email).get_text()item['email'] = emailitem['postfix'] = email.split('@')[1]step += 1if step % 20 == 0:SaveToFile()cc.find_element(locator.slack.close_image).click()
SaveToFile()

说明：

• 先点击右上角显示人数的按钮，弹出人员信息列表弹窗

• 循环上面步骤获取到的人员列表

• 输入用户名进行搜索，然后点击‘查看完整的个人档案’

• 获取邮箱等信息，会做错误处理

• 关闭详细信息侧边栏，

• 更新信息到列表中保存

• 循环处理下一个用户信息

录制的locator可以自行使用clicknium提供的录制器来录制，操作教程可以看clicknium vscode的说明，非常详细的操作说明。