大数据:应用于计量学的新技巧 - 第二章 用来分析大数据的工具

2024-01-19 04:18

本文主要是介绍大数据:应用于计量学的新技巧 - 第二章 用来分析大数据的工具,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

第二章 用来分析大数据的工具


大数据处理的结果其实往往是一个人能看明白的“小”数据表,能被丢进普通的SQL数据库,统计系统或者电子表格进行显示或者再处理的。如果挖掘出来的数据还是很“大”,那么就需要用一些子样本来进行统计分析。在谷歌工作中,我发现随机提取样本的中0.1%作为子样本用来做业务数据的分析效果是不错的。

 

一旦数据被挖掘出来,常常需要对这些数据进行一致性清理(比如美国在英文中表示为US,USA,America等,这时就需要将这些同时代表美国的英文统一为一些规范化的字串,比如ISO3166-1 alpha-2 的规范中,美国就是US)。完成清理只能通过平时的实践来学习,不过使用如OpenRefine或者DataWrangler这样的工具可以协助数据清理的。

 

在统计学和计量学中,数据分析可以被分成4类:1)预测,2)概要,3)估计以及4)检验假设。机器学习一般主要用来做预测;和领域密切相关的数据挖掘同样涉及做概要,并且可以在数据中找到特别有趣的数据模式。计量学家,统计学家以及数据挖掘专家通常会看能从数据中挖出什么。机器学习专家常涉及如何做出一个高效的计算机系统来满足在现有的计算资源中做出有用的预测。现在有个新词叫做数据科学,它主要涉及做预测以及概要(1类和2类数据分析),同时也涉及数据操作,数据可视化和类似的一些任务。请注意,在这个领域里术语并没有被规范化,仅仅是为了展示这些任务是在干嘛,而不是随意的给出个定义。用来描述计算机辅助数据分析的术语有知识挖掘,信息发觉,信息采集,数据考古(寻找并修复一些被遗弃或者封存起来的信息),数据模式处理以及探索性数据分析。

 

很多应用计量学涉及在数据中找到并总结其中数据间的关系,做这个最常用的工具就是(线性)回归。如我们所见,机器学习提供了可以用来总结数据中非线性关系的一组工具,因为这些工具用来做经济上的分析再自然不过,我们下面将着重看这些做回归用的工具。

 

当我们遇到一个最基本的统计预测问题,一般来说我们会想知道在给定变量 时变量y的条件分布是什么。如果我们想要做一个点预测的话,我们可以利用条件分布中的均值或者中位数来做这个预测。

 

在机器学习领域中,变量x通常被称为“预测因子”或者“特征变量”。机器学习的重点就是要找到一些可以提供y的预测值的函数y(x)。回顾历史,机器学习的绝大部分工作都涉及到了横断面数据:这些数据是独立的,是独立同分布的(iid)或者至少是独立分布的。数据可能会很“胖”,表明预测因子和观测相关;或者数据可能会很“高”,表明观测与预测因子相关。

 

通常我们得到yx的数据后我们想要找到一个“良好”的预测方式给出一个新的xy应该得多少。这里“良好”的意思表示最大限度的缩小一些损失函数的值,比如残差的平方和或者残差的绝对平均值等。当然啦,这些对应的损失是由这些新来的x所带来的,而不是之前那些为了做回归用到的x产生的。

 

面对这类问题的时候,经济学家通常一下就会想到用线性或者逻辑回归来解决问题。但是如果是拥有大量数据的情况下,相比上面的两个工具也许会有更好的解决方法,比如一些非线性方法1)分类回归树(CART),2)随机森林以及3)一些带有惩罚性质的回归方法比如LASSO,LARS以及弹性网路回归。当然还有一些其他的方法,比如神经网路,深度学习以及支持向量模型,不过本文中不会提及。这些方法都可以从一些机器学习的文章或者书籍中找到,这里推荐Hastie等在2009年的论文(搜索 Hastie et al. [2009],在原文的参考文献中可找到,免费下载,这里不提及)。

这篇关于大数据:应用于计量学的新技巧 - 第二章 用来分析大数据的工具的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/621234

相关文章

C#代码实现解析WTGPS和BD数据

《C#代码实现解析WTGPS和BD数据》在现代的导航与定位应用中,准确解析GPS和北斗(BD)等卫星定位数据至关重要,本文将使用C#语言实现解析WTGPS和BD数据,需要的可以了解下... 目录一、代码结构概览1. 核心解析方法2. 位置信息解析3. 经纬度转换方法4. 日期和时间戳解析5. 辅助方法二、L

使用Python和Matplotlib实现可视化字体轮廓(从路径数据到矢量图形)

《使用Python和Matplotlib实现可视化字体轮廓(从路径数据到矢量图形)》字体设计和矢量图形处理是编程中一个有趣且实用的领域,通过Python的matplotlib库,我们可以轻松将字体轮廓... 目录背景知识字体轮廓的表示实现步骤1. 安装依赖库2. 准备数据3. 解析路径指令4. 绘制图形关键

如何确定哪些软件是Mac系统自带的? Mac系统内置应用查看技巧

《如何确定哪些软件是Mac系统自带的?Mac系统内置应用查看技巧》如何确定哪些软件是Mac系统自带的?mac系统中有很多自带的应用,想要看看哪些是系统自带,该怎么查看呢?下面我们就来看看Mac系统内... 在MAC电脑上,可以使用以下方法来确定哪些软件是系统自带的:1.应用程序文件夹打开应用程序文件夹

Python使用FFmpeg实现高效音频格式转换工具

《Python使用FFmpeg实现高效音频格式转换工具》在数字音频处理领域,音频格式转换是一项基础但至关重要的功能,本文主要为大家介绍了Python如何使用FFmpeg实现强大功能的图形化音频转换工具... 目录概述功能详解软件效果展示主界面布局转换过程截图完成提示开发步骤详解1. 环境准备2. 项目功能结

解决mysql插入数据锁等待超时报错:Lock wait timeout exceeded;try restarting transaction

《解决mysql插入数据锁等待超时报错:Lockwaittimeoutexceeded;tryrestartingtransaction》:本文主要介绍解决mysql插入数据锁等待超时报... 目录报错信息解决办法1、数据库中执行如下sql2、再到 INNODB_TRX 事务表中查看总结报错信息Lock

Apache 高级配置实战之从连接保持到日志分析的完整指南

《Apache高级配置实战之从连接保持到日志分析的完整指南》本文带你从连接保持优化开始,一路走到访问控制和日志管理,最后用AWStats来分析网站数据,对Apache配置日志分析相关知识感兴趣的朋友... 目录Apache 高级配置实战:从连接保持到日志分析的完整指南前言 一、Apache 连接保持 - 性

Linux系统之stress-ng测压工具的使用

《Linux系统之stress-ng测压工具的使用》:本文主要介绍Linux系统之stress-ng测压工具的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、理论1.stress工具简介与安装2.语法及参数3.具体安装二、实验1.运行8 cpu, 4 fo

Maven项目中集成数据库文档生成工具的操作步骤

《Maven项目中集成数据库文档生成工具的操作步骤》在Maven项目中,可以通过集成数据库文档生成工具来自动生成数据库文档,本文为大家整理了使用screw-maven-plugin(推荐)的完... 目录1. 添加插件配置到 pom.XML2. 配置数据库信息3. 执行生成命令4. 高级配置选项5. 注意事

使用C#删除Excel表格中的重复行数据的代码详解

《使用C#删除Excel表格中的重复行数据的代码详解》重复行是指在Excel表格中完全相同的多行数据,删除这些重复行至关重要,因为它们不仅会干扰数据分析,还可能导致错误的决策和结论,所以本文给大家介绍... 目录简介使用工具C# 删除Excel工作表中的重复行语法工作原理实现代码C# 删除指定Excel单元

Linux lvm实例之如何创建一个专用于MySQL数据存储的LVM卷组

《Linuxlvm实例之如何创建一个专用于MySQL数据存储的LVM卷组》:本文主要介绍使用Linux创建一个专用于MySQL数据存储的LVM卷组的实例,具有很好的参考价值,希望对大家有所帮助,... 目录在Centos 7上创建卷China编程组并配置mysql数据目录1. 检查现有磁盘2. 创建物理卷3. 创