Python爬虫抓取slack组里的用户信息

本文主要是介绍Python爬虫抓取slack组里的用户信息，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

需求说明

国外很多产品社区运营都是用slack，并且设置多个频道作为群组来交流，昨天突发奇想，想抓一个感兴趣的群组里的人员信息，里面超过1万人，手动抓取肯定不现实。作为程序员，作为python程序员，一定是要想办法自动化的，在网上搜了一圈，发现这个开源的python自动化库不错，clicknium 就开始动手尝试.

环境准备

本人开发环境：windows 10， visual studio code

参见getting started

创建目录

直接新建一个folder

方案思路

进去slack的频道，右上角会显示人数，点击会弹窗，

编辑

添加图片注释，不超过 140 字（可选）

循环遍历弹窗里的人员信息，先存取人员列表信息，然后再根据人员名称搜索人名显示个人详细信息获取邮箱电话等信息，存入列表中。

from clicknium import clicknium as cc, locator
from clicknium.common.enums import *
import json
import oscc.find_element(locator.slack.text_all).click()
members = cc.find_element(locator.slack.tabitem_members).get_text()
print(members)
count = int(members.split(' ')[1].replace(',', ''))
cc.find_element(locator.slack.edit_成员名称).click(by='mouse-emulation')
cc.send_hotkey("{DOWN}")step = 0
names = []
if os.path.exists("data.json"):with open("data.json", 'r') as myfile:data=myfile.read()# parse filenames = json.loads(data)
step = len(names)
if step > 0:for _ in range(step):cc.send_hotkey("{DOWN}")def NotContains(name):for item in names:if item['name'] == name:return Falsereturn Truedef SaveToFile():jsonString = json.dumps(names)jsonFile = open("data.json", "w")jsonFile.write(jsonString)jsonFile.close()while step<count:for i in range(1,13):dict = {"index":i}if not cc.is_existing(locator.slack.listitem_member, dict):continueelem_member = cc.find_element(locator.slack.listitem_member, dict)name = elem_member.get_text()#print(name)if NotContains(name):names.append({'name':name,'email':'', 'postfix':''})step += 1print(name)if step % 100 == 0:SaveToFile()cc.find_element(locator.slack.edit_成员名称).click(by='mouse-emulation')for i in range(10):cc.send_hotkey("{DOWN}")SaveToFile()

说明：

先点击右上角显示人数的按钮，弹出人员信息列表弹窗
获取人数
循环获取listiten的信息
由于这个列表是动态加载的，所以没获取10个，就通过发送多次Down的快捷键向下滚动，让页面动态加载后续的人员信息
在存储列表时根据名称进行去重

from operator import contains
from clicknium import clicknium as cc, locator, ui
from clicknium.common.enums import *
import json
import osnames = []
if os.path.exists("data.json"):with open("data.json", 'r') as myfile:data=myfile.read()# parse filenames = json.loads(data)def SaveToFile():jsonString = json.dumps(names)jsonFile = open("data.json", "w")jsonFile.write(jsonString)jsonFile.close()step = 0
for item in names:if len(item['email']) == 0:cc.find_element(locator.slack.text_all).click()cc.find_element(locator.slack.edit_成员名称).set_text(item['name'], "set-text")cc.find_element(locator.slack.list_member1).click()email = cc.find_element(locator.slack.text_email).get_text()item['email'] = emailitem['postfix'] = email.split('@')[1]step += 1if step % 20 == 0:SaveToFile()cc.find_element(locator.slack.close_image).click()
SaveToFile()

说明：