变量的千层套路：数据科学中最强大的武器

全文共3019字，预计学习时长12分钟

图源：unsplash

 

我们无法想象没有数据的现代技术，如同现代技术需要石油一般，数据是信息时代的原材料。数据是我们得到任何事件和空间中信息的源头。

 

如果不了解数据，那你就太out了。首先，我们必须熟悉正在探索的数据。如果不太了解数据，那么在数据之上构建的系统或分析模型最终将毫无用处。因此，我们需要熟悉数据类型及其展示技术。

 

用于保存数据的参数在统计学中称为变量。一个数据集可以描述股票市场，其他数据集可以描述人口，员工数据等。这随系统而异。取值可以变化的属性就称为变量。

 

理解变量是走进数据科学的关键钥匙，而变量千变万化，用法多样，本文就将和大家好好聊聊变量。

 

 

变量类型

 

数据源非常庞大，我们可以从不同的数据源中找到不同类型的数据。了解数据的特征很重要，而数据的特征正是由变量定义。通过一些参数，我们可以轻松地对变量进行划分或分类。

 

变量类型

 

变量本质上有两种类型：数值和分类。

 

· 数值：以数字表示的所有变量都称为数值变量，也被称为定量变量。它可以是离散的，也可以是连续的。

 

离散变量，简单来说，就是包含可数数据的所有变量。例如，儿童的数量、SAT 分数、人口等，所有这些变量都包含离散数据。

 

连续变量即不可数的变量。对其计数需要花费无穷无尽的时间，计数过程永远不会结束。

 

示例：年龄是一个连续变量。这是为什么呢？假设，你的年龄是25岁，2个月，10天，7小时，40秒，44毫秒，10纳秒，99皮秒...等等。它永远不会结束。再如"平均"变量。如平均数字1.232343542543245....永远不会结束。

 

· 分类：分类变量也被称为定性变量，它表示的数据类型可以分为几组。汽车品牌就是一个分类变量，其中保存着分类数据，如奥迪，丰田，宝马等。答案是一个分类变量，它保存着分类数据是/否。

 

· 对变量的快速比较：

定量vs定性

 

 

度量水平

 

维基百科这样说：“度量水平或测量尺度是对分配给变量的值中信息性质进行描述的分类”。

 

心理学家斯坦利·史密斯·史蒂文斯提出了最著名的分类，其有四个度量层次或尺度：标称、次序、等距、等比。标称尺度和次序尺度用于测量定性和分类变量，等距尺度和等比尺度用于测量定量和数值变量。

 

度量水平

 

标称（Nominal）：这是一个表示名称的拉丁语单词。标称尺度表示无法按任何顺序排列的类别。此尺度仅表示单个类别或名称。它只代表质量，而不提供有关差异大小的任何信息。它使用标称刻度，可以通过该变量定义两个人之间的差异。

 

示例：假设某变量表示汽车品牌：奥迪、丰田、宝马等。我们不能以任何方式对它们进行排序。因此，这些类型的变量属于标称尺度。

 

图源：unsplash

 

· 次序（Ordinal）：这是一个有序的尺度。它指示可以按顺序排列的分类变量。我们可以用该尺度来确定变量间差异的方向，但无法确定差异的大小。

 

示例：有一个名为"身高"的变量表示人的身高，这又分为矮个子、中等个子和高个子。这些值的排序非常容易：高→中等→矮。这个顺序能很好地展示差异方向，但它不提供用以确定具体身高差的任何线索。

 

次序尺度的直觉

 

· 等距（Interval）：表示各个级别之间相等间隔并可以表示为实数的变量称为等距尺度。它不仅对度量进行分类和排序，而且还规定沿低区间到高区间的刻度上每个间隔的距离相等。

 

示例：温度是一个变量，其中10摄氏度与20摄氏度，70摄氏度和80摄氏度之间的间隔相同。考试分数，高度，时间等都可以作为等距尺度的好例子。

 

· 等比（Ratio）：这具有等距尺度的所有特性。它必须满足刻度中的零有意义。

 

假设我们正在考虑以°C和°F为单位测量体温，发现两个人的体温分别是10°C和20°C或10°F和20°F。我们不能说第二个人的体温是第一个人的2倍。因为0°C和0°F不是真正的零，它们并不意味着没有温度。如果要用等比尺度表示温度，则必须让开氏标度为0度，此时表明不存在温度。

 

 

使用Python展示数据

 

接下来，我们将讨论如何使用条形图，饼图和帕累托图来展示变量。

 

展示分类变量

 

假设有一个汽车销售市场的数据集，我们可以分析“汽车品牌”变量。首先计算不同汽车品牌出现的频率，就像下图所示：

 

演示汽车品牌频率

 

让我们将其转换为数据框。因为要分析此演示数据来进行图表展示。频率代表每个品牌的已售汽车数量。你可以对任何数据集执行相同的操作，使用pandas数据框转换此图像。

 

importpandas as pd
import matplotlib.pyplot as plt
df=pd.DataFrame({"Brand":['Audi',"BMW","Mercedes"],"Frequency":[124,98,113]})

Pandas数据框

 

计算相对频率

 

相对频率以百分比表示单个频率的分布：相对频率（％）=（个体频率/总频率）* 100。

 

df['RelativeFrequency(%)']=
round((df.Frequency/sum(df.Frequency))*100,2)

 

我们在主要数据集中添加了一个相对频率列：

 

有相对频率列的数据框

 

条形图

 

接下来，让我们用频率来绘制条形图。

 

import matplotlib.pyplot as pltfig,ax=plt.subplots()
var=plt.bar(df.Brand, df.Frequency,, alpha=0.5)#this loop isused to represent frequency on each bar
for idx,rect in enumerate(var):height = rect.get_height()ax.text(rect.get_x() +rect.get_width()/2., 1.01*height,df.Frequency[idx],ha='center', va='bottom',rotation=0)#adding labels and title
plt.ylabel('Frequency')
plt.xlabel('Brand Name')
plt.title('Car Sales Statistics')plt.show()

展示频率的条形图

 

饼图

 

我们还可以使用饼图表示不同类别数据之间频率的分布。

 

fig = plt.figure()
ax = fig.add_axes([0,0,1,1])
ax.axis('equal')ax.pie(df.Frequency, labels = df.Brand,autopct='%1.2f%%')
plt.show()

相对频率的饼图

 

帕累托图

 

帕累托图是一种特殊的条形图，其中类别以频率降序显示，累计频率用单独的曲线显示。

 

含有累计频率的数据框

 

frommatplotlib.ticker import PercentFormatterdf =df.sort_values(by='Frequency',ascending=False)
df["Cumulative Frequency"] =round(df["Frequency"].cumsum()/df["Frequency"].sum()*100,2)
fig, ax = plt.subplots(figsize=(10,5))
ax.bar(df.Brand, df["Frequency"], color="blue")
ax2 = ax.twinx()
ax2.plot(df.Brand, df["Cumulative Frequency"], color="red",marker="D", ms=7)
ax2.yaxis.set_major_formatter(PercentFormatter())ax.tick_params(axis="y",colors="black")
ax2.tick_params(axis="y", colors="black")
ax2.set_ylim(0,105)
ax.set_ylim(0,130)
plt.show()

图表的左侧代表频率，右侧代表累计频率

 

展示数值变量

 

还可以用条形图，饼图和帕累托图展示数值数据。如果想找到数值数据的频率，我们可能会发现每个数据的频率为1。但对于展示数据而言这是不可行的。那么应该怎么办呢？

 

我们可以将数值数据划分为不同的区间，然后计算该区间内数据的频率。通过一个python数据框可以获得更直观的感受。

 

df=pd.DataFrame({"data":[10,40,20,5,30,100,110,70,80,63,55,32,45,85,87,77,65,44,33,4,56,90,95,96]})

数据框的前五行数据

 

如果要计算频率，则大多数数据的频率将为1。

 

df['data'].value_counts()

数值数据的频率

 

现在，如果想用条形图，饼图来展示以上的频率，它们不能提供任何信息。所以需要计算区间内的频率。假设我们将数据分成5个相等的区间。

 

d=df['data'].value_counts(bins= 5).sort_index()

左列表示间隔，右列表示频率

 

Bingo！我们能够应用条形图，饼图和帕累托图来表示数值变量的频率啦。试着自己按照上述技巧为数值变量绘制图表吧。

 

图源：unsplash

 

变量的共同性质对于数据科学任务非常重要，想要进入数据科学领域，或者仅仅是想要对数据有所了解，都必须攻下变量这一关。希望本文能帮你搞懂一些关键内容。

一起分享AI学习与发展的干货
欢迎关注全平台AI垂类自媒体 “读芯术”

（添加小编微信：dxsxbb，加入读者圈，一起讨论最新鲜的人工智能科技哦～）