pandas apply传递参数进阶 不好用,不是我想的那回事

2024-03-24 08:44

本文主要是介绍pandas apply传递参数进阶 不好用,不是我想的那回事,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

代码对比

原代码

 总表 = pd.DataFrame(columns = ['部门名称','接口个数','表名','链接'])# 遍历每个部门,获取相关的API详情for department_title in departments_info['部门名称'].to_list():部门表 = departments_info[departments_info['部门名称'] == department_title ].copy()print(department_title)  # 打印部门名称# 获取每个部门的API详情api_details = get_api_details(department_title)# print(f"部门API详情{api_details}")if not api_details.empty:# 如果找到了API详情,则进行合并部门表 = 部门表.merge(api_details, on='部门名称', how='left')else:print(f"没有找到部门 {department_title} 的API详情。")总表 = pd.concat( [总表,部门表],axis=0)
# 总表.to_csv('test.csv',index=False)
# 添加表信息的总表 = pd.DataFrame( columns = ['部门名称','接口个数','表名','链接','字段序号','字段英文描述','字段中文描述'])
# 然后对每个API的链接进行遍历,抓取每个API的字段信息for url in 总表['链接'].to_list():单个url表 = 总表[总表['链接'] == url ].copy()# 确保URL是有效的if isinstance(url, str) and url.startswith("http"):# 获取信息项内容information_items = get_information_items(url)if not information_items.empty:# 如果找到了信息项,进行合并单个url表 = 单个url表.merge(information_items, on=['链接'], how='left')添加表信息的总表 = pd.concat([添加表信息的总表,单个url表],axis=0)# 清理和退出浏览器驱动
driver.quit()
writer = pd.ExcelWriter('20240324.xlsx')
添加表信息的总表.to_excel(writer,index=False)
writer.save()

升级后代码

# 定义一个函数,它接受DataFrame中的一行作为输入
# 这个函数的目的是,基于该行中某个特定的列(在这个例子中是'部门名称'),
# 来获取相关的API详情,并将这些详情作为新的列值返回
def enrich_department_info(row):# 调用get_api_details函数,传入'部门名称'列的值,# 以获取该部门的API详细信息。这假设get_api_details函数返回一个字典,# 其中包含关于API的各种信息,如接口个数、表名和链接api_details = get_api_details(row['部门名称'])# 从api_details字典中提取'接口个数'、'表名'和'链接'的值,# 并将这些值封装成一个pandas Series对象返回。# 如果字典中没有这些键,则相应的值将被设置为None。return pd.Series({'接口个数': api_details.get('接口个数', None),'表名': api_details.get('表名', None),'链接': api_details.get('链接', None),})# 调用.apply()方法,并传入enrich_department_info函数作为参数,
# 指定axis=1使其按行应用该函数。
# 这将对departments_info DataFrame的每一行调用enrich_department_info函数,
# 并将返回的Series对象中的值分别填充到'接口个数'、'表名'和'链接'这三个新列中。
# 结果是,departments_info DataFrame将被扩展,包含了这三个新列,
# 其中填充了根据每行中'部门名称'列的值获取的API详细信息。
departments_info[['接口个数', '表名', '链接']] = departments_info.apply(enrich_department_info, axis=1)def fetch_information_items(url):# 此函数根据给定的URL获取信息项内容if pd.notna(url) and url.startswith("http"):information_items = get_information_items(url)return information_itemsreturn pd.DataFrame()  # 返回一个空的DataFrame,如果没有找到信息# 使用merge而不是concat来组合信息,以减少不必要的数据复制
departments_info['信息项内容'] = departments_info['链接'].apply(fetch_information_items)

这篇关于pandas apply传递参数进阶 不好用,不是我想的那回事的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/841058

相关文章

Python Pandas高效处理Excel数据完整指南

《PythonPandas高效处理Excel数据完整指南》在数据驱动的时代,Excel仍是大量企业存储核心数据的工具,Python的Pandas库凭借其向量化计算、内存优化和丰富的数据处理接口,成为... 目录一、环境搭建与数据读取1.1 基础环境配置1.2 数据高效载入技巧二、数据清洗核心战术2.1 缺失

一文详解PostgreSQL复制参数

《一文详解PostgreSQL复制参数》PostgreSQL作为一款功能强大的开源关系型数据库,其复制功能对于构建高可用性系统至关重要,本文给大家详细介绍了PostgreSQL的复制参数,需要的朋友可... 目录一、复制参数基础概念二、核心复制参数深度解析1. max_wal_seChina编程nders:WAL

Pandas进行周期与时间戳转换的方法

《Pandas进行周期与时间戳转换的方法》本教程将深入讲解如何在pandas中使用to_period()和to_timestamp()方法,完成时间戳与周期之间的转换,并结合实际应用场景展示这些方法的... 目录to_period() 时间戳转周期基本操作应用示例to_timestamp() 周期转时间戳基

Linux高并发场景下的网络参数调优实战指南

《Linux高并发场景下的网络参数调优实战指南》在高并发网络服务场景中,Linux内核的默认网络参数往往无法满足需求,导致性能瓶颈、连接超时甚至服务崩溃,本文基于真实案例分析,从参数解读、问题诊断到优... 目录一、问题背景:当并发连接遇上性能瓶颈1.1 案例环境1.2 初始参数分析二、深度诊断:连接状态与

pandas DataFrame keys的使用小结

《pandasDataFramekeys的使用小结》pandas.DataFrame.keys()方法返回DataFrame的列名,类似于字典的键,本文主要介绍了pandasDataFrameke... 目录Pandas2.2 DataFrameIndexing, iterationpandas.DataF

史上最全nginx详细参数配置

《史上最全nginx详细参数配置》Nginx是一个轻量级高性能的HTTP和反向代理服务器,同时也是一个通用代理服务器(TCP/UDP/IMAP/POP3/SMTP),最初由俄罗斯人IgorSyso... 目录基本命令默认配置搭建站点根据文件类型设置过期时间禁止文件缓存防盗链静态文件压缩指定定错误页面跨域问题

Pandas利用主表更新子表指定列小技巧

《Pandas利用主表更新子表指定列小技巧》本文主要介绍了Pandas利用主表更新子表指定列小技巧,通过创建主表和子表的DataFrame对象,并使用映射字典进行数据关联和更新,实现了从主表到子表的同... 目录一、前言二、基本案例1. 创建主表数据2. 创建映射字典3. 创建子表数据4. 更新子表的 zb

Pandas中统计汇总可视化函数plot()的使用

《Pandas中统计汇总可视化函数plot()的使用》Pandas提供了许多强大的数据处理和分析功能,其中plot()函数就是其可视化功能的一个重要组成部分,本文主要介绍了Pandas中统计汇总可视化... 目录一、plot()函数简介二、plot()函数的基本用法三、plot()函数的参数详解四、使用pl

Pandas透视表(Pivot Table)的具体使用

《Pandas透视表(PivotTable)的具体使用》透视表用于在数据分析和处理过程中进行数据重塑和汇总,本文就来介绍一下Pandas透视表(PivotTable)的具体使用,感兴趣的可以了解一下... 目录前言什么是透视表?使用步骤1. 引入必要的库2. 读取数据3. 创建透视表4. 查看透视表总结前言

pandas中位数填充空值的实现示例

《pandas中位数填充空值的实现示例》中位数填充是一种简单而有效的方法,用于填充数据集中缺失的值,本文就来介绍一下pandas中位数填充空值的实现,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是中位数填充?为什么选择中位数填充?示例数据结果分析完整代码总结在数据分析和机器学习过程中,处理缺失数