简单模拟社交网络分析

2024-03-28 07:10

本文主要是介绍简单模拟社交网络分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

之前的文章中介绍了社交网络常用的一些分析指标,这里Tatsumi将自己编写Scrapy爬虫获取简书用户的关注与被关注行为信息,模拟一个真实的小社交网络群体。

打开简书的网站,随便找到一个用户然后点击关注或粉丝,便可获取该用户对应的粉丝和它关注的用户ID。

由于简书里这种用户ID信息列表是使用Ajax请求的方式加载的,这里Tatsumi通过Post请求的方式向存放该Json数据的服务器发送请求来获取用户ID信息。(当然这里也可以在Scrapy中使用selenium来模拟滚动下拉条的方式获取,但这种方式Tatsumi感觉获取效率较低,故没有采用,如果对爬虫感兴趣的朋友可以看看Tatsumi的爬虫文章,后面也会分享本次的爬虫代码)。

因为考虑到简书全网用户较多,用执行社交网络算法和可视化的话对于单机用户Tatsumi来说是相当相当的困难,所以这里只是随机抽选了几位与机器学习和大数据相关的简书用户来进行数据爬取,最终我们获取到的数据格式如下

其中usera是被关注的用户id,userb是用户的粉丝,其他的信息还有对于usera用户的关注人数,被关注人数,文章数目,已发表总字数,获赞数。

拿到数据后便可使用Python中分析社交网络的库networkx进行社交网络分析,首先是对整个网络的读入(userpairs使用对usera,userb,weight组成的元组列表,其中weight这里都为1)

#社交图谱建立与计算
G=nx.DiGraph()
G.add_edges_from(userpairs)

有了网络后我们可以执行相关的关于整个网络的描述统计

verage_shortest_path_length = nx.average_shortest_path_length(G) #图G所有节点间平均最短路径长度(结果为0.00040136391084636026)
path=nx.all_pairs_shortest_path(G)                               #找出所有节点的最短路径

以及研究整个网络中每个节点的各种中心性度量指标

degree = nx.degree(G)      #程度中心性
in_degree_ = nx.in_degree_centrality(G) #入度
closeness_centrality = nx.closeness_centrality(G) #紧密中心性
betweenness_centrality = nx.betweenness_centrality(G) #介数中心性
eigenvector_centrality = nx.eigenvector_centrality(G)  #高特征向量中心性
pagerank = nx.pagerank(G)  #pagerank算法
clustering = nx.clustering(G) #群聚系数

由于本次的网络规模较小,很多中心性指标都为0,这里就只展示一小部分。由下图可见绝大部分用户的度中心性都为0或1(红色)

可以看到在整个网络中Albert陈凯、大数据之心、Major术业和流川枫AI是度中心性和紧密中心性最大的用户,因此大概可以猜想出整个小网络能划分成4个小群体。

#社区发现算法 best_partition
partition = community.best_partition(G)          #方法1
k_clique = list(nx.k_clique_communities(G,3))    #方法2

从社群发现的结果来看,果然整个网络主要是由Albert陈凯、大数据之心、Major术业和流川枫AI 4位用户为中心而扩散,我们便可得知在此小网络中该4位用户起着居足轻重的作用。在实际场景中,我们可以针对整个网络中的关键用户进行营销和推广,提高营销准确率,也可以利用社交网络中用户的节点信息值,如pagerank、介数中心性、紧密中心性等指标作为其他机器学习算法的输入,提升模型的效果等等。

项目心得

社交网络分析算法个人感觉还机器学习的行业中还是比较冷门的一块,Tatsumi自己也是非常想的尝试一把。这里发现几点问题就是,往往来说整个社交网络无论是微博、QQ、网易云还是其他的社交媒体,数据量往往都是非常巨大的,而要分析如此庞大的数据对于个人来说是相当相当困难,很多算法都是基于图整体信息数据进行迭代运算。所以有机会的话Tatsumi也希望能用Spark的GraphX模块来尝试尝试,另外是社交网络的可视化,由于Python中的Networkx库中画图比较的粗糙,这里Tatsumi使用的是Gephi来进行可视化(这个软件也内置封装了很多社交网络分析的常用的方法,个人感觉比较像是Spss型的软件,非常容易上手,但是数据量处理不能太大)果然数据量处理还都是瓶颈啊 ,难怪大数据会越来越火了。

Github数据代码 链接 

  • 使用scrapy对简书全站的用户关注信息进行递归爬取
  • 对简书用户关注与被关注行为建立社交网络分析模型

转载于:https://my.oschina.net/wtatsumi/blog/1924743

这篇关于简单模拟社交网络分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/chuihun9876/article/details/100757701
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/854841

相关文章

基于Python实现一个简单的题库与在线考试系统

《基于Python实现一个简单的题库与在线考试系统》在当今信息化教育时代,在线学习与考试系统已成为教育技术领域的重要组成部分,本文就来介绍一下如何使用Python和PyQt5框架开发一个名为白泽题库系... 目录概述功能特点界面展示系统架构设计类结构图Excel题库填写格式模板题库题目填写格式表核心数据结构

C/C++ chrono简单使用场景示例详解

《C/C++chrono简单使用场景示例详解》:本文主要介绍C/C++chrono简单使用场景示例详解,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友... 目录chrono使用场景举例1 输出格式化字符串chrono使用场景China编程举例1 输出格式化字符串示

Python使用pynput模拟实现键盘自动输入工具

《Python使用pynput模拟实现键盘自动输入工具》在日常办公和软件开发中,我们经常需要处理大量重复的文本输入工作,所以本文就来和大家介绍一款使用Python的PyQt5库结合pynput键盘控制... 目录概述:当自动化遇上可视化功能全景图核心功能矩阵技术栈深度效果展示使用教程四步操作指南核心代码解析

windows和Linux安装Jmeter与简单使用方式

《windows和Linux安装Jmeter与简单使用方式》:本文主要介绍windows和Linux安装Jmeter与简单使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录Windows和linux安装Jmeter与简单使用一、下载安装包二、JDK安装1.windows设

Python模拟串口通信的示例详解

《Python模拟串口通信的示例详解》pySerial是Python中用于操作串口的第三方模块,它支持Windows、Linux、OSX、BSD等多个平台,下面我们就来看看Python如何使用pySe... 目录1.win 下载虚www.chinasem.cn拟串口2、确定串口号3、配置串口4、串口通信示例5

使用Python开发一个简单的本地图片服务器

《使用Python开发一个简单的本地图片服务器》本文介绍了如何结合wxPython构建的图形用户界面GUI和Python内建的Web服务器功能,在本地网络中搭建一个私人的,即开即用的网页相册,文中的示... 目录项目目标核心技术栈代码深度解析完整代码工作流程主要功能与优势潜在改进与思考运行结果总结你是否曾经

Mysql表的简单操作(基本技能)

《Mysql表的简单操作(基本技能)》在数据库中,表的操作主要包括表的创建、查看、修改、删除等,了解如何操作这些表是数据库管理和开发的基本技能,本文给大家介绍Mysql表的简单操作,感兴趣的朋友一起看... 目录3.1 创建表 3.2 查看表结构3.3 修改表3.4 实践案例:修改表在数据库中,表的操作主要

springboot简单集成Security配置的教程

《springboot简单集成Security配置的教程》:本文主要介绍springboot简单集成Security配置的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录集成Security安全框架引入依赖编写配置类WebSecurityConfig(自定义资源权限规则

如何使用Python实现一个简单的window任务管理器

《如何使用Python实现一个简单的window任务管理器》这篇文章主要为大家详细介绍了如何使用Python实现一个简单的window任务管理器,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起... 任务管理器效果图完整代码import tkinter as tkfrom tkinter i

C++中函数模板与类模板的简单使用及区别介绍

《C++中函数模板与类模板的简单使用及区别介绍》这篇文章介绍了C++中的模板机制,包括函数模板和类模板的概念、语法和实际应用,函数模板通过类型参数实现泛型操作,而类模板允许创建可处理多种数据类型的类,... 目录一、函数模板定义语法真实示例二、类模板三、关键区别四、注意事项 ‌在C++中,模板是实现泛型编程