我为什么反对大数据

2023-11-21 00:59
文章标签 数据 反对

本文主要是介绍我为什么反对大数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

嘉宾介绍:朱林,一个开发了17年程序的老程序员,热爱开发,有11年的安全开发经验,现任赛克蓝德公司技术总监,从事数据分析领域相关产品的研发,公司现已开发一款日志分析产品(SeciLog)。

精彩观点

在大数据时代已经到来的时候要用大数据思维去发掘大数据的潜在价值

在中国,绝大多数的公司是没有太多数据的

一切不以解决业务为出发点的技术都是耍流氓

很多时候数据并没有我们想象的这么值钱,尤其是互联网上很容易采集到的数据

大数据应该是从小数据逐渐演变上去的,是一个正常的生态,而不是瞬间变化的

声明

个人言论,本文仅从另一个视角看待大数据,如不能理解请一笑而过,勿做无谓的拍砖,仅此而已。

引言

现在很多人都热衷于把大数据放在嘴边,但你要问一下什么是大数据,大数据和你有什么关系?估计很少人能说出个一二三来。

究其原因,一是因为大家对新技术有着很深的原始渴求,至少在聊天时不会显得很“土鳖”;二是在工作和生活环境中真正能参与实践大数据的案例实在太少了。

一、什么是大数据

最早提出大数据时代到来的是麦肯锡,他说:

“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”

IBM 最早将大数据的特征归纳为4个“V”,即:

体量Volume,数据体量巨大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)

多样Variety,数据类型繁多。比如,网络日志、视频、图片、地理位置信息等等。

价值Value,价值密度低,商业价值高。

快速Velocity,处理速度快。这一点也是和传统的数据挖掘技术有着本质的不同。

其实这些V并不能真正说清楚大数据的所有特征,下面这张图对大数据的一些相关特性做出了有效的说明。

我为什么反对大数据

维克托·迈尔-舍恩伯格在《大数据时代》一书中举了百般例证,都是为了说明一个道理

书中,作者提及最多的是Google如何利用人们的搜索记录挖掘数据二次利用价值,比如预测某地流感爆发的趋势;

Amazon如何利用用户的购买和浏览历史数据进行有针对性的书籍购买推荐,以此有效提升销售量;

Farecast如何利用过去十年所有的航线机票价格打折数据,来预测用户购买机票的时机是否合适。

书中提到大数据的核心是预测。有三个思路的转变:

不是随机样本,而是全量数据;

不是精确性,而是混杂型;

不是因果关系,而是相关关系。

二、现状分析

根据国家统计局2014年12月16日发布的《第三次全国经济普查主要数据公报》中显示:

全国共有从事第二产业和第三产业活动的法人单位1085.7万个,占全部企业法人单位95.6%。从业人员35602.3万人,平均每个单位32.8人。

这个数据说明了中国绝大多数的企业都是中小企业,在这种情况下,有多少企业有海量数据呢?

我们换个角度再看看以下数据,我们搜索一下国内几个典型客户的网站排名情况(查询网站是alexa)。

用友:

我为什么反对大数据

东软:

我为什么反对大数据

绿盟:

我为什么反对大数据

从中可以看出用友的PV最大,也就是一天75000个,一年的数据量也就是2300万,在加上别的数据,数据的量级也就是G级别的,还远未到T级,更别说P级了。

在这个量级上,一台好点的 PC Server 就可以处理完成大部分的需求,如果考虑到可靠性最多需要两台。

通过上面的分析,我们可以发现在中国,绝大多数的公司是没有太多数据的。

三、大数据的核心价值

我为什么反对大数据

《大数据时代》中提到的大数据的核心价值是预测,但我们提到大数据时,往往提到的都是大数据技术,比如Hadoop、Spark、Storm、Hbase、Hive等等,人们对此的讨论总是乐此不彼。

但现实的情况往往是数据只能验证现在,数据无法预见未来!

举个最近的例子:

大数据告诉我们股市暴跌后必然有反弹。于是6.25大跌后,大家都认为周五必然有一个反弹。结果周五就被庄家们狠狠的教育了一把。

6.28的双降(降息,降准),所有都说周一6.29会上涨,可周一中国的庄家让散户们明白,数据和经验只是你的一厢情愿,他不会给你一丝的喘息机会。

一切不以解决业务为出发点的技术都是耍流氓,计算机技术的发展是非常迅速的,往往一个技术可能没有多长时间就会被淘汰或者升级。

如果没有业务场景作为支持,存粹的学习大数据的技术是没有太大价值的,笔者崇尚的是学以致用。

因为大脑有个很明显的特征是健忘,如果用不到,学这些技术过一段时间就会忘记,还不如暂时不学,等后面需要用到的时候在学(原理基础知识等除外)。

四、数据真的值钱吗

很多时候数据并没有我们想象的这么值钱,尤其是互联网上很容易采集到的数据,比如:爬虫这个东西。

我一开始不是太懂,但是花点时间,基本上通了,无论是用Python自己写一个,还是直接用现成的各种软件,都是很快就可以部署并开始采集。

中国有大量的程序员,还有的稍微懂点编程的计算机爱好者,另外爬虫软件的出现可以让一个新手随便花点时间就可以学会采集。所以采集的门槛在降低。

另外,数据的可复制性导致其廉价,尤其是非结构性的数据,从现在互联网上大量的转载文章就可以看出知识的传播复制是非常廉价的。

数据的利用才是有价值的。比如:

一个老板,他每天看几十个零散数据放到他面前,但是却没有把行为数据和商业数据的关系告诉他,有什么用呢?

一个公司CEO,每天看到几十个数据,什么PV、PU、UV等等是没有意义的。

对于他们来说,只需要知道有问题吗?问题是什么?有新的发现吗?需要做什么?这就行了。

五、大数据的泡沫

我为什么反对大数据

伯克利的Jordan教授给出了答案,他是机器学习世界范围内最被尊敬的专家之一(下面的翻译来自知乎上的作者Quinn Sure)。

目前的大数据给出的结果可靠性太低,如果急于应用到实际中,就好比是土木工程都没学好就开始造桥,结果只能造出“豆腐渣工程”。

一大波“false positive”(假阳性)正在接近,因为数据增长的速度不够支撑我们把大数据到处乱用的欲望。作为一个科学,不够严谨(原文是“没有error bar”)。

不像造桥的土木工程,经过多年的积累,明确地能告诉我们什么样的情况可以造,什么不可以。而大数据没有。

目前在computer vision领域进展还很小,只能在非常有限的范围内识别,比如人脸识别这样非常具体的引用(虽然这个不是直接说大数据,但是可以看出,作者认为真正做到万物都sensor还很远,大数据的采集能力终究还是有限的)

neural network根本和人脑的neural network不是一回儿事,我们对大脑的理解根本没到可以引用到计算机科学的程度。

现在deep learning所采用的back propagation技巧,明显不是大脑的运作方式,network的结构都完全不同,什么对数据的模糊性处理已经达到人脑的境界云云,主要是媒体扯谈。

对他观点的总结:

有些媒体为了让公众容易理解,打了些比方,但是这种比方造成了太多误解,进而造成了太多hype(夸张的大肆宣传)。

大数据还是一个没有足够严谨程度的科学,可能有一定的概率做出一些有用的预测,但是使用不当,过分过早地依赖,则会造成灾难性的后果。

很多时候大家过早对一个技术爆发热情,寄希望它可以改变世界,如果短时间没有成果,有可能热情一下子转冷又觉得这是个错误,加速抽离给这个技术的资源。

显然Michael很担心现在公众对这个技术的热情,并不是基于对这个技术的理解,从而有可能会经历这样的态度转变。但是他认为这个领域是现实存在的,很多重要的应用,假以时日,是会创造价值的。但是现在很多媒体宣传,甚至投资行为,都是泡沫。

六、从小数据开始

那怎么做的呢?

从小数据开始,小数据就是个体化的数据,是我们每个个体或组织的数字化信息。

比如我天天都喝一两酒,突然有天喝完酒了胃疼,我就想了,这天和之前有何不同?原来,这天喝的酒是个新牌子,可能就是喝了这个新牌子的酒让我胃疼。

这就是我生活中的“小数据”,它不比大数据那样浩瀚繁杂,却对我自己至关重要。

现在很多企业面临的最大问题不是怎么用大数据,而是小数据都没用好的情况下怎么用大数据。

大数据应该是从小数据逐渐演变上去的,是一个正常的生态,而不是瞬间变化的。

首先,要了解自己的企业,自己所在的行业的核心是什么。有很多企业在竞争的过程中,最终不是被现在的竞争对手打败,而是被很多不是你的竞争对手所打败。

很简单的一个例子,大家都认为亚马逊是做电商的,但这是错的,它现在最主要的收入来自于云服务。

所以要找到企业的核心数据,这个是最关键的。只有在这个基础上,利用分析好这些数据,然后在做一些延伸。

其次,再找与内部相关的一些数据,去慢慢地成长它。有点像滚雪球,第一层是核心,第二层是外围相关的数据。第三层是外部机构的一些结构化数据。第四层是社会化的,以及各种现在所谓的非结构化的数据。

这几层要一层一层地找到它,而且要找到与自己相关的有价值的东西。这样你的数据才能利用起来。

转载于:https://my.oschina.net/hnqingping1255/blog/657670

这篇关于我为什么反对大数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/398693

相关文章

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》:本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法: 示例:2.TRUNCATE语句✅ 基本语

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查

python实现对数据公钥加密与私钥解密

《python实现对数据公钥加密与私钥解密》这篇文章主要为大家详细介绍了如何使用python实现对数据公钥加密与私钥解密,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录公钥私钥的生成使用公钥加密使用私钥解密公钥私钥的生成这一部分,使用python生成公钥与私钥,然后保存在两个文

mysql中的数据目录用法及说明

《mysql中的数据目录用法及说明》:本文主要介绍mysql中的数据目录用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、版本3、数据目录4、总结1、背景安装mysql之后,在安装目录下会有一个data目录,我们创建的数据库、创建的表、插入的

Navicat数据表的数据添加,删除及使用sql完成数据的添加过程

《Navicat数据表的数据添加,删除及使用sql完成数据的添加过程》:本文主要介绍Navicat数据表的数据添加,删除及使用sql完成数据的添加过程,具有很好的参考价值,希望对大家有所帮助,如有... 目录Navicat数据表数据添加,删除及使用sql完成数据添加选中操作的表则出现如下界面,查看左下角从左

SpringBoot中4种数据水平分片策略

《SpringBoot中4种数据水平分片策略》数据水平分片作为一种水平扩展策略,通过将数据分散到多个物理节点上,有效解决了存储容量和性能瓶颈问题,下面小编就来和大家分享4种数据分片策略吧... 目录一、前言二、哈希分片2.1 原理2.2 SpringBoot实现2.3 优缺点分析2.4 适用场景三、范围分片

Redis分片集群、数据读写规则问题小结

《Redis分片集群、数据读写规则问题小结》本文介绍了Redis分片集群的原理,通过数据分片和哈希槽机制解决单机内存限制与写瓶颈问题,实现分布式存储和高并发处理,但存在通信开销大、维护复杂及对事务支持... 目录一、分片集群解android决的问题二、分片集群图解 分片集群特征如何解决的上述问题?(与哨兵模

浅析如何保证MySQL与Redis数据一致性

《浅析如何保证MySQL与Redis数据一致性》在互联网应用中,MySQL作为持久化存储引擎,Redis作为高性能缓存层,两者的组合能有效提升系统性能,下面我们来看看如何保证两者的数据一致性吧... 目录一、数据不一致性的根源1.1 典型不一致场景1.2 关键矛盾点二、一致性保障策略2.1 基础策略:更新数