pandas apply传递参数进阶 不好用,不是我想的那回事

2024-03-24 08:44

本文主要是介绍pandas apply传递参数进阶 不好用,不是我想的那回事,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

代码对比

原代码

 总表 = pd.DataFrame(columns = ['部门名称','接口个数','表名','链接'])# 遍历每个部门,获取相关的API详情for department_title in departments_info['部门名称'].to_list():部门表 = departments_info[departments_info['部门名称'] == department_title ].copy()print(department_title)  # 打印部门名称# 获取每个部门的API详情api_details = get_api_details(department_title)# print(f"部门API详情{api_details}")if not api_details.empty:# 如果找到了API详情,则进行合并部门表 = 部门表.merge(api_details, on='部门名称', how='left')else:print(f"没有找到部门 {department_title} 的API详情。")总表 = pd.concat( [总表,部门表],axis=0)
# 总表.to_csv('test.csv',index=False)
# 添加表信息的总表 = pd.DataFrame( columns = ['部门名称','接口个数','表名','链接','字段序号','字段英文描述','字段中文描述'])
# 然后对每个API的链接进行遍历,抓取每个API的字段信息for url in 总表['链接'].to_list():单个url表 = 总表[总表['链接'] == url ].copy()# 确保URL是有效的if isinstance(url, str) and url.startswith("http"):# 获取信息项内容information_items = get_information_items(url)if not information_items.empty:# 如果找到了信息项,进行合并单个url表 = 单个url表.merge(information_items, on=['链接'], how='left')添加表信息的总表 = pd.concat([添加表信息的总表,单个url表],axis=0)# 清理和退出浏览器驱动
driver.quit()
writer = pd.ExcelWriter('20240324.xlsx')
添加表信息的总表.to_excel(writer,index=False)
writer.save()

升级后代码

# 定义一个函数,它接受DataFrame中的一行作为输入
# 这个函数的目的是,基于该行中某个特定的列(在这个例子中是'部门名称'),
# 来获取相关的API详情,并将这些详情作为新的列值返回
def enrich_department_info(row):# 调用get_api_details函数,传入'部门名称'列的值,# 以获取该部门的API详细信息。这假设get_api_details函数返回一个字典,# 其中包含关于API的各种信息,如接口个数、表名和链接api_details = get_api_details(row['部门名称'])# 从api_details字典中提取'接口个数'、'表名'和'链接'的值,# 并将这些值封装成一个pandas Series对象返回。# 如果字典中没有这些键,则相应的值将被设置为None。return pd.Series({'接口个数': api_details.get('接口个数', None),'表名': api_details.get('表名', None),'链接': api_details.get('链接', None),})# 调用.apply()方法,并传入enrich_department_info函数作为参数,
# 指定axis=1使其按行应用该函数。
# 这将对departments_info DataFrame的每一行调用enrich_department_info函数,
# 并将返回的Series对象中的值分别填充到'接口个数'、'表名'和'链接'这三个新列中。
# 结果是,departments_info DataFrame将被扩展,包含了这三个新列,
# 其中填充了根据每行中'部门名称'列的值获取的API详细信息。
departments_info[['接口个数', '表名', '链接']] = departments_info.apply(enrich_department_info, axis=1)def fetch_information_items(url):# 此函数根据给定的URL获取信息项内容if pd.notna(url) and url.startswith("http"):information_items = get_information_items(url)return information_itemsreturn pd.DataFrame()  # 返回一个空的DataFrame,如果没有找到信息# 使用merge而不是concat来组合信息,以减少不必要的数据复制
departments_info['信息项内容'] = departments_info['链接'].apply(fetch_information_items)

这篇关于pandas apply传递参数进阶 不好用,不是我想的那回事的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/841058

相关文章

Python pandas库自学超详细教程

《Pythonpandas库自学超详细教程》文章介绍了Pandas库的基本功能、安装方法及核心操作,涵盖数据导入(CSV/Excel等)、数据结构(Series、DataFrame)、数据清洗、转换... 目录一、什么是Pandas库(1)、Pandas 应用(2)、Pandas 功能(3)、数据结构二、安

Python安装Pandas库的两种方法

《Python安装Pandas库的两种方法》本文介绍了三种安装PythonPandas库的方法,通过cmd命令行安装并解决版本冲突,手动下载whl文件安装,更换国内镜像源加速下载,最后建议用pipli... 目录方法一:cmd命令行执行pip install pandas方法二:找到pandas下载库,然后

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3

C语言进阶(预处理命令详解)

《C语言进阶(预处理命令详解)》文章讲解了宏定义规范、头文件包含方式及条件编译应用,强调带参宏需加括号避免计算错误,头文件应声明函数原型以便主函数调用,条件编译通过宏定义控制代码编译,适用于测试与模块... 目录1.宏定义1.1不带参宏1.2带参宏2.头文件的包含2.1头文件中的内容2.2工程结构3.条件编

从入门到进阶讲解Python自动化Playwright实战指南

《从入门到进阶讲解Python自动化Playwright实战指南》Playwright是针对Python语言的纯自动化工具,它可以通过单个API自动执行Chromium,Firefox和WebKit... 目录Playwright 简介核心优势安装步骤观点与案例结合Playwright 核心功能从零开始学习

Spring Boot spring-boot-maven-plugin 参数配置详解(最新推荐)

《SpringBootspring-boot-maven-plugin参数配置详解(最新推荐)》文章介绍了SpringBootMaven插件的5个核心目标(repackage、run、start... 目录一 spring-boot-maven-plugin 插件的5个Goals二 应用场景1 重新打包应用

Java内存分配与JVM参数详解(推荐)

《Java内存分配与JVM参数详解(推荐)》本文详解JVM内存结构与参数调整,涵盖堆分代、元空间、GC选择及优化策略,帮助开发者提升性能、避免内存泄漏,本文给大家介绍Java内存分配与JVM参数详解,... 目录引言JVM内存结构JVM参数概述堆内存分配年轻代与老年代调整堆内存大小调整年轻代与老年代比例元空

深度解析Python装饰器常见用法与进阶技巧

《深度解析Python装饰器常见用法与进阶技巧》Python装饰器(Decorator)是提升代码可读性与复用性的强大工具,本文将深入解析Python装饰器的原理,常见用法,进阶技巧与最佳实践,希望可... 目录装饰器的基本原理函数装饰器的常见用法带参数的装饰器类装饰器与方法装饰器装饰器的嵌套与组合进阶技巧

从基础到进阶详解Pandas时间数据处理指南

《从基础到进阶详解Pandas时间数据处理指南》Pandas构建了完整的时间数据处理生态,核心由四个基础类构成,Timestamp,DatetimeIndex,Period和Timedelta,下面我... 目录1. 时间数据类型与基础操作1.1 核心时间对象体系1.2 时间数据生成技巧2. 时间索引与数据

pandas实现数据concat拼接的示例代码

《pandas实现数据concat拼接的示例代码》pandas.concat用于合并DataFrame或Series,本文主要介绍了pandas实现数据concat拼接的示例代码,具有一定的参考价值,... 目录语法示例:使用pandas.concat合并数据默认的concat:参数axis=0,join=