系统重温Pandas笔记：Task Special：第一次综合练习

2023-12-03 18:50
文章标签 系统 综合 笔记 练习 pandas 第一次 task 重温 special

本文主要是介绍系统重温Pandas笔记：Task Special：第一次综合练习，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

    • 【任务一】企业收入的多样性
    • 【任务二】组队学习信息表的变换
    • 【任务三】漂亮国投票情况
    • 远昊大佬的参考答案
      • 第一题
      • 第二题
      • 第三题

【任务一】企业收入的多样性

【题目描述】一个企业的产业收入多样性可以仿照信息熵的概念来定义收入熵指标：
在这里插入图片描述
【数据下载】链接：https://pan.baidu.com/s/1leZZctxMUSW55kZY5WwgIw 53 密码：u6fd
解：
首先import所需要的包：

import numpy as np
import pandas as pd

然后读取两张表的数据：

df1 = pd.read_csv('company.csv')
df2 = pd.read_csv('company_data.csv')

对数据做一下清洗，去除含有NAN的行：

df1 = df1.dropna(axis = 0)
df1

在这里插入图片描述

df2 = df2.dropna(axis = 0)
df2

在这里插入图片描述
将df1中证券代码格式里的#号和补零去掉：

df1['证券代码'] = df1['证券代码'].apply(lambda x: int(str(x[1:])))
df1

在这里插入图片描述
将df2中的日期只显示年份：

df2['日期'] = df2['日期'].apply(lambda x: int(str(x[0:4])))
df2

在这里插入图片描述
将df1和df2连接， 并去除掉NAN行：

df3 = df1.merge(df2, on=['证券代码','日期'], how='left')
df3 = df3.dropna(axis = 0)
df3

在这里插入图片描述
计算收入熵指标：

def myfunc(x):p = x/x.sum()res_I = -((p*np.log(p)).sum())return res_I
res = df3.groupby(['证券代码','日期'])['收入额'].apply(myfunc)
res

在这里插入图片描述
将res里的结果变成列：

df4 = res.reset_index()
df4['SHZB_I'] = df4['收入额']
df4 = df4.drop('收入额', 1)
df4

在这里插入图片描述
最后将得到的收入熵指标汇总到df1中：

df5 = df1.merge(df4, on=['证券代码','日期'], how='left')
df5

在这里插入图片描述

【任务二】组队学习信息表的变换

【题目描述】请把组队学习的队伍信息表变换为如下形态，其中“是否队长”一列取1表示队长，否则为0
在这里插入图片描述
【数据下载】链接：https://pan.baidu.com/s/1ses24cTwUCbMx3rvYXaz-Q 34 密码：iz57
解：
首先import所需要的包：

import numpy as np
import pandas as pd
import xlrd

然后读取表的数据：

df1 = pd.read_excel('组队.xlsx')

去掉“所在群”这一列

df1 = df1.drop('所在群', 1)

先处理得到所有队长的表：

df2 = df1[['队伍名称','队长编号','队长_群昵称']]
df2['是否队长'] = 1
df2

在这里插入图片描述
然后修改列名，得到和题目要求匹配的队长表：

df3 = df2.rename(columns = {'队长编号':'编号','队长_群昵称':'昵称'})
df3

在这里插入图片描述
筛选队员相关信息的列，并分别重命名编号和昵称，为后续变形做准备：

df4 = df1.drop(['队长编号','队长_群昵称'], 1)
df4 = df4.rename(columns = {'队员1 编号':'编号_队员1','队员2 编号':'编号_队员2','队员3 编号':'编号_队员3','队员4 编号':'编号_队员4','队员5 编号':'编号_队员5','队员6 编号':'编号_队员6','队员7 编号':'编号_队员7','队员8 编号':'编号_队员8','队员9 编号':'编号_队员9','队员10编号':'编号_队员10'})
df4 = df4.rename(columns = {'队员_群昵称':'昵称_队员1','队员_群昵称.1':'昵称_队员2','队员_群昵称.2':'昵称_队员3','队员_群昵称.3':'昵称_队员4','队员_群昵称.4':'昵称_队员5','队员_群昵称.5':'昵称_队员6','队员_群昵称.6':'昵称_队员7','队员_群昵称.7':'昵称_队员8','队员_群昵称.8':'昵称_队员9','队员_群昵称.9':'昵称_队员10',})

表太大了，先不截图。
然后对得到的表进行wide_to_long操作：

df5 = pd.wide_to_long(df4,stubnames=['编号','昵称'],i = ['队伍名称'],j='队员',sep='_',suffix='.+')
df5

在这里插入图片描述
去掉含有NAN的行，并添加“是否队长”列，重设index，删去“队员”列：

df5 = df5.dropna(axis = 0)
df5['是否队长'] = 0
df6 = df5.reset_index()
df6 = df6.drop(['队员'], 1)
df6

在这里插入图片描述
将队长和队员的信息拼接：

df7 = pd.concat([df3, df6])
df7

在这里插入图片描述
按照题目中的表格样式进行最后的格式调整：

df7 = df7[['是否队长','队伍名称','昵称','编号']]
df7['编号'] = df7['编号'].apply(lambda x: int(x))
df7.sort_values('队伍名称').reset_index().drop(['index'], 1)

在这里插入图片描述

【任务三】漂亮国投票情况

【题目描述】两张数据表中分别给出了漂亮国各县（county）的人口数以及大选的投票情况，请解决以下问题：

  • 有多少县满足总投票数超过县人口数的一半
  • 把州（state）作为行索引，把投票候选人作为列名，列名的顺序按照候选人在全美的总票数由高到低排序，行列对应的元素为该候选人在该州获得的总票数
    在这里插入图片描述
  • 每一个州下设若干县，定义BD在该县的得票率减去CP在该县的得票率为该县的BT指标，若某个州所有县BT指标的中位数大于0，则称该州为BD State，请找出所有的BD State
    【数据下载】链接：https://pan.baidu.com/s/182rr3CpstVux2CFdFd_Pcg 32 提取码：q674
    解：
    1、有多少县满足总投票数超过县人口数的一半
    导入需要的包：
import numpy as np
import pandas as pd

读取数据：

df1=pd.read_csv('president_county_candidate.csv')
df2=pd.read_csv('county_population.csv')

计算县的选票总数：

sum1 = df1.groupby(['state','county'])['total_votes'].sum()
sum1

在这里插入图片描述
将结果转成dataframe，并连接两表，删去NAN值：

df3 = sum1.reset_index()
df3['US County'] = '.'+df3['county']+', '+df3['state']
df3

在这里插入图片描述

df4 = df2.merge(df3, on=['US County'], how='left')
df4 = df4.dropna(axis = 0)
df4

在这里插入图片描述
统计满足总投票数超过县人口数的一半的个数：

condition = df4['total_votes'] > (df4['Population']/2)
df4.groupby(condition).count()

在这里插入图片描述
所以是1434个

2.把州（state）作为行索引，把投票候选人作为列名，列名的顺序按照候选人在全美的总票数由高到低排序，行列对应的元素为该候选人在该州获得的总票数
解：
先按照题目要求变形：

df5 = df1.pivot_table(index='state', columns='candidate', values='total_votes',aggfunc = 'sum')  
df5.head()

在这里插入图片描述
把NaN值用0替换掉

df5 = df5.fillna(0)
df5.head()

在这里插入图片描述
类似第一问，先统计每个州候选人得票总数并排序：

sum2 = df1.groupby(['candidate'])['total_votes'].sum().sort_values(ascending = False)
sum2

在这里插入图片描述
得到列名顺序：

sum2.index

在这里插入图片描述

df6 = df5.reindex(columns=sum2.index)
df6

在这里插入图片描述
3.每一个州下设若干县，定义BD在该县的得票率减去CP在该县的得票率为该县的BT指标，若某个州所有县BT指标的中位数大于0，则称该州为BD State，请找出所有的BD State
解：
因为比较的都是同一个县比，所以比较得票率和比较得票数在最终结果上一样（被除数相同）：
还是和前面一样，先计算他们各自的总票数：

df1['US County'] = '.'+df1['county']+', '+df1['state']
df7 = df1.pivot_table(index='US County', columns='candidate', values='total_votes',aggfunc = 'sum')[['Joe Biden','Donald Trump']]  
df7

在这里插入图片描述
然后得到每个县的BT代替值：

df7['BT'] = df7['Joe Biden']-df7['Donald Trump'] 
df7

在这里插入图片描述
去掉多级索引：

df7 = df7.reset_index(['US County'])
df7

在这里插入图片描述
然后将US County拆回去：

df8 = pd.DataFrame((x.split(', ') for x in df7['US County']),columns = ['county','state'])
df8

在这里插入图片描述
重新拼起来：

df9 = pd.concat([df7,df8],1)
df9

在这里插入图片描述
计算各州BT代替值的中位数：

df10 = df9.groupby(['state'])['BT'].median()
df10

在这里插入图片描述
与0作比较：

df10>0

在这里插入图片描述
从结果中可以得出，结果为True的state是Biden State
即：California, Connecticut, Delaware, District of Columbia, Hawaii, Massachusetts, New Jersey, Rhode Island, Vermont 这9个state。

远昊大佬的参考答案

今天给原题加数据链接的时候，看到远昊大佬更新了参考答案，比我的高级太多太多太多太多。在下方展示出来，以供学习：

第一题

df2['证券代码'] = df2['证券代码'].apply(lambda x:'#%06d'%x)
df2 = df2[df2['证券代码'].isin(df1['证券代码'])]
df2['日期'] = df2['日期'].apply(lambda x: int(x[:4]))
res = df2.groupby(['证券代码', '日期'])['收入额'].apply(lambda x: -((x/x.sum()*np.log(x/x.sum()))).sum()).reset_index()
res = df1.merge(res, how='left', on=['证券代码', '日期']).rename(columns={'收入额': '收入熵'})

第二题

df = pd.read_excel('组队信息汇总表（Pandas）.xlsx')
temp = df.iloc[:,1::2].set_index('队伍名称').T.reset_index(drop=True)
temp['是否队长'] = np.r_[[1], np.zeros(temp.shape[0]-1)].astype('int')
melted = temp.melt(id_vars = '是否队长', value_vars = temp.columns[:-1], var_name = '队伍名称', value_name = '昵称').dropna().reset_index(drop=True)
number = pd.concat([df.iloc[:, 2*(i+1): 2*(i+2)].T.reset_index(drop=True).T for i in range(11)]).rename({0:'编号', 1:'昵称'}, axis=1).dropna().reset_index(drop=True)
res = melted.merge(number, how='left', on='昵称')

第三题

第一问：

df = pd.read_csv('president_county_candidate.csv')
df_pop = pd.read_csv('county_population.csv')
temp = df_pop['US County'].copy()
df_pop['state'] = temp.apply(lambda x:x.split(', ')[1])
df_pop['county'] = temp.apply(lambda x:x.split(', ')[0][1:])
df_pop = df_pop.drop(['US County'],axis=1)
df = df.merge(df_pop, on=['state','county'],how='left')
df['pop_rate'] = df['total_votes']/df['Population']
res = df.groupby(['state','county'])['pop_rate'].agg(lambda x:x.sum())
(res>0.5).sum()

第二问：

res = df.pivot_table(index='state',columns='candidate',values='total_votes',aggfunc='sum').reindex(df.groupby('candidate')['total_votes'].sum().sort_values(ascending=False).index,axis=1)

第三问：

def select(x):def inner_select(inner_x):Total = inner_x.total_votes.sum()Biden = inner_x.query('candidate=="Joe Biden"').total_votes.sum()Trump = inner_x.query('candidate=="Donald Trump"').total_votes.sum()return (Biden-Trump)/Totalres = x.groupby('county')[['candidate','total_votes']].apply(inner_select)return res.median() > 0
df.groupby('state').filter(select).state.unique()

这篇关于系统重温Pandas笔记：Task Special：第一次综合练习的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/450497。

相关文章

JWT + 拦截器实现无状态登录系统

JWT + 拦截器实现无状态登录系统

《JWT+拦截器实现无状态登录系统》JWT（JSONWebToken）提供了一种无状态的解决方案：用户登录后,服务器返回一个Token,后续请求携带该Token即可完成身份验证,无需服务器存储会话... 目录✅ 引言 一、JWT 是什么？ 二、技术选型 三、项目结构 四、核心代码实现4.1 添加依赖（pom
阅读更多...
基于Python实现自动化邮件发送系统的完整指南

基于Python实现自动化邮件发送系统的完整指南

《基于Python实现自动化邮件发送系统的完整指南》在现代软件开发和自动化流程中,邮件通知是一个常见且实用的功能,无论是用于发送报告、告警信息还是用户提醒,通过Python实现自动化的邮件发送功能都能... 目录一、前言：二、项目概述三、配置文件 `.env` 解析四、代码结构解析1. 导入模块2. 加载环
阅读更多...
linux系统上安装JDK8全过程

linux系统上安装JDK8全过程

《linux系统上安装JDK8全过程》文章介绍安装JDK的必要性及Linux下JDK8的安装步骤,包括卸载旧版本、下载解压、配置环境变量等,强调开发需JDK,运行可选JRE,现JDK已集成JRE... 目录为什么要安装jdk？1.查看linux系统是否有自带的jdk：2.下载jdk压缩包2.解压3.配置环境
阅读更多...
Python学习笔记之getattr和hasattr用法示例详解

Python学习笔记之getattr和hasattr用法示例详解

《Python学习笔记之getattr和hasattr用法示例详解》在Python中,hasattr()、getattr()和setattr()是一组内置函数,用于对对象的属性进行操作和查询,这篇文章... 目录1.getattr用法详解1.1 基本作用1.2 示例1.3 原理2.hasattr用法详解2.
阅读更多...
Linux查询服务器系统版本号的多种方法

Linux查询服务器系统版本号的多种方法

《Linux查询服务器系统版本号的多种方法》在Linux系统管理和维护工作中,了解当前操作系统的版本信息是最基础也是最重要的操作之一,系统版本不仅关系到软件兼容性、安全更新策略,还直接影响到故障排查和... 目录一、引言：系统版本查询的重要性二、基础命令解析：cat /etc/Centos-release详
阅读更多...
更改linux系统的默认Python版本方式

更改linux系统的默认Python版本方式

《更改linux系统的默认Python版本方式》通过删除原Python软链接并创建指向python3.6的新链接,可切换系统默认Python版本,需注意版本冲突、环境混乱及维护问题,建议使用pyenv... 目录更改系统的默认python版本软链接软链接的特点创建软链接的命令使用场景注意事项总结更改系统的默
阅读更多...
在Linux系统上连接GitHub的方法步骤(适用2025年)

在Linux系统上连接GitHub的方法步骤(适用2025年)

《在Linux系统上连接GitHub的方法步骤(适用2025年)》在2025年,使用Linux系统连接GitHub的推荐方式是通过SSH(SecureShell)协议进行身份验证,这种方式不仅安全,还... 目录步骤一：检查并安装 Git步骤二：生成 SSH 密钥步骤三：将 SSH 公钥添加到 github
阅读更多...
pandas数据的合并concat()和merge()方式

pandas数据的合并concat()和merge()方式

《pandas数据的合并concat()和merge()方式》Pandas中concat沿轴合并数据框（行或列）,merge基于键连接（内/外/左/右）,concat用于纵向或横向拼接,merge用于... 目录concat() 轴向连接合并(1) join='outer'，axis=0(2)join='o
阅读更多...
Python pandas库自学超详细教程

Python pandas库自学超详细教程

《Pythonpandas库自学超详细教程》文章介绍了Pandas库的基本功能、安装方法及核心操作,涵盖数据导入（CSV/Excel等）、数据结构（Series、DataFrame）、数据清洗、转换... 目录一、什么是Pandas库（1）、Pandas 应用（2）、Pandas 功能（3）、数据结构二、安
阅读更多...
Python安装Pandas库的两种方法

Python安装Pandas库的两种方法

《Python安装Pandas库的两种方法》本文介绍了三种安装PythonPandas库的方法,通过cmd命令行安装并解决版本冲突,手动下载whl文件安装,更换国内镜像源加速下载,最后建议用pipli... 目录方法一：cmd命令行执行pip install pandas方法二：找到pandas下载库，然后
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2