超赞!两张小抄,带你 “迅速” 掌握Pandas “数据清洗” 流程!

2023-10-09 16:40

本文主要是介绍超赞!两张小抄,带你 “迅速” 掌握Pandas “数据清洗” 流程!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文简介

今天这篇文章,就当作是pandas教程的开篇文章吧!这是由Pandas官方发布的两张 “小抄”,内容不像matplotlib小抄那么多,但是内容确实极其精简,肯定可以迅速带你 “理清” Pandas学习思路。

项目地址如下:

https://github.com/pandas-dev/pandas/blob/master/doc/cheatsheet/Pandas_Cheat_Sheet.pdf

当然,这只是带你入门,图中的每个知识点,在后面的系列文章里,都将系统性为大家讲解,see you later
在这里插入图片描述

一饱眼福

咱们先一饱眼福吧,上传图片可能会失真,导致图片看不清楚。文末会给大家提供 “高清版” 供大家下载。
在这里插入图片描述
在这里插入图片描述
虽然这两张图,不能详尽Pandas所有知识点,但是肯定是包含了Pandas的精髓,你掌握了这两张图,可以算是会用Pandas了。关于其它方法和技巧,大家练个手,基本也就学会了。

图片 “拆解” 讲解

肯定不是光给你两张图就行了呀,接下来,我们以此为基础,带着大家 “解剖” 这两张图吧。

① 创建DataFrame

DataFrame是pandas中最重要的数据结构,利用DataFrame()函数,我们可以创建各种不同结构的 “表格数据”,下面介绍了两种创建DataFrame的方法。
在这里插入图片描述

② 数据重塑

这里涉及到的知识点,就有点多了。什么是 “重塑” 呢?就是将原有的数据编程各种不同的结构。比如说:

  • melt:能够帮助我们实现列变行;
  • pivot:数据透视能够实现行变列;
  • concat:将不同的DataFrame按照行、列,进行拼接;
  • 当然,这里还涉及到排序、删除列、重命名等问题;

在这里插入图片描述

③ 数据选取

有时候,我们需要针对某个DataFrame的某个部分,做某些操作,这就需要我们学会 “选取” 数据。这里分为2个部分 “选取行数据”“选取列数据”

选取行数据的若干操作:
在这里插入图片描述
选取列数据的若干操作:
在这里插入图片描述

④ 汇总数据

下图为大家提供了一些常用的 “统计函数”,还有几个常用的其他函数 “value_couns()”、“nunique”、“describe”等,它们能够帮助我们进行 “不同条件” 下的汇总,帮助我们更快的了解数据。
在这里插入图片描述

⑤ 处理缺失值

这里主要为大家讲解两个函数:dropna()fillna()
在这里插入图片描述

⑥ 分组操作

不管是Excel、SQL,还是Python,分组统计这个操作,一直是必学的操作,这也是pandas学习过程中,极其重要的一个知识点。我们可以将原始数据,按照某个条件分组,接着对每个组使用下面的这些函数。
在这里插入图片描述

⑦ 合并数据集

pandas中merge()函数的作用,相当于excel中的vlookup()函数,相当于mysql中的左连接、右连接等,能够很方便的帮助我们,建立不同表之间的联系。
在这里插入图片描述

⑧ 窗口函数

做数据分析时,特别是在分析时间序列数据时,需要使用到这两个函数,滚动窗口rolling函数和扩展窗口expanding函数。
在这里插入图片描述

⑨ 绘图

绘图不是matplotlib的特权,其实对于一些简单的统计图形,直接使用pandas绘制,会更简单、更方便。
在这里插入图片描述
今天的文章大致就讲到这,看到这里,你应该大致搞明白了pandas可以做哪些东西,对于pandas里面的细节东西,请关注 “pandas系列教程” 哦。

这篇关于超赞!两张小抄,带你 “迅速” 掌握Pandas “数据清洗” 流程!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/174161

相关文章

使用Python开发一个Ditto剪贴板数据导出工具

《使用Python开发一个Ditto剪贴板数据导出工具》在日常工作中,我们经常需要处理大量的剪贴板数据,下面将介绍如何使用Python的wxPython库开发一个图形化工具,实现从Ditto数据库中读... 目录前言运行结果项目需求分析技术选型核心功能实现1. Ditto数据库结构分析2. 数据库自动定位3

pandas数据的合并concat()和merge()方式

《pandas数据的合并concat()和merge()方式》Pandas中concat沿轴合并数据框(行或列),merge基于键连接(内/外/左/右),concat用于纵向或横向拼接,merge用于... 目录concat() 轴向连接合并(1) join='outer',axis=0(2)join='o

批量导入txt数据到的redis过程

《批量导入txt数据到的redis过程》用户通过将Redis命令逐行写入txt文件,利用管道模式运行客户端,成功执行批量删除以Product*匹配的Key操作,提高了数据清理效率... 目录批量导入txt数据到Redisjs把redis命令按一条 一行写到txt中管道命令运行redis客户端成功了批量删除k

Python pandas库自学超详细教程

《Pythonpandas库自学超详细教程》文章介绍了Pandas库的基本功能、安装方法及核心操作,涵盖数据导入(CSV/Excel等)、数据结构(Series、DataFrame)、数据清洗、转换... 目录一、什么是Pandas库(1)、Pandas 应用(2)、Pandas 功能(3)、数据结构二、安

Python安装Pandas库的两种方法

《Python安装Pandas库的两种方法》本文介绍了三种安装PythonPandas库的方法,通过cmd命令行安装并解决版本冲突,手动下载whl文件安装,更换国内镜像源加速下载,最后建议用pipli... 目录方法一:cmd命令行执行pip install pandas方法二:找到pandas下载库,然后

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3

Spring Boot 中的默认异常处理机制及执行流程

《SpringBoot中的默认异常处理机制及执行流程》SpringBoot内置BasicErrorController,自动处理异常并生成HTML/JSON响应,支持自定义错误路径、配置及扩展,如... 目录Spring Boot 异常处理机制详解默认错误页面功能自动异常转换机制错误属性配置选项默认错误处理

C#监听txt文档获取新数据方式

《C#监听txt文档获取新数据方式》文章介绍通过监听txt文件获取最新数据,并实现开机自启动、禁用窗口关闭按钮、阻止Ctrl+C中断及防止程序退出等功能,代码整合于主函数中,供参考学习... 目录前言一、监听txt文档增加数据二、其他功能1. 设置开机自启动2. 禁止控制台窗口关闭按钮3. 阻止Ctrl +

java如何实现高并发场景下三级缓存的数据一致性

《java如何实现高并发场景下三级缓存的数据一致性》这篇文章主要为大家详细介绍了java如何实现高并发场景下三级缓存的数据一致性,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 下面代码是一个使用Java和Redisson实现的三级缓存服务,主要功能包括:1.缓存结构:本地缓存:使