大数据独角兽Cloudera股价腰斩,Hadoop将何去何从

2023-11-02 18:50

本文主要是介绍大数据独角兽Cloudera股价腰斩,Hadoop将何去何从,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

 美东时间 6 月 6 日美股开盘后,大数据公司 Cloudera 股价暴跌 43%,在此之前该公司刚刚宣布首席执行官 Tom Reilly 将离职,并下调了 2020 年收入预期。在与竞争对手 Hortonworks 合并五个月后,尽管 Cloudera 不断尝试实现持续增长,但现金仍在流失,这引发了人们对其数据分析技术未来发展前景的担忧。在 2014 年由英特尔主导的融资轮中,Cloudera 估值曾高达 41 亿美元,而今其市值已经缩水为 14 亿美元。

一周前,曾经同为大数据独角兽的 MapR 也传出了面临重大危机的消息。根据加州就业发展部门的一份文件,MapR 于 5 月 14 日通知加州就业发展局,计划在其 Santa Clara 总部裁员 122 人。在工人调整及再培训通知 (WARN) 文件中,这次裁减被标记为“永久性关闭”,将于 6 月 14 日生效。这些是否昭示着 Hadoop 这一生态的衰败?

Hadoop 包括两部分 MapReduce 和 HDFS,分别对应 Google 三架马车论文中的 MapReduce 和 GFS。后来 Hadoop 的 MapReduce 调度框架为了实现抽象度更高的资源调度,将编程模式剥离出调度框架,就出现了 YARN(Yet Another Resource Negotiator)。所以我们现在常说的 Hadoop 其实就是 HDFS 和 YARN。

围绕 Hadoop 进行商业化有著名的三巨头,分别是 Cloudera、Hortonworks 和 MapR,如今都不约而同地陨落了。

强烈推荐阅读下列文章

一篇文章告诉你优酷背后的大数据秘密!【大数据开发实战技术】戳我阅读

从术语到Spark,10篇必读大数据学习资源戳我阅读

想成为云计算大数据Spark高手,看这里!戳我阅读

最全最新的大数据系统交流路径!!戳我阅读

年薪百万的大数据开发工程师要如何入门?戳我阅读

Cloudera

Cloudera 于 2008 年成立,创始人来自 Google、FaceBook 和 Yahoo!,在 2008 年还不知道大数据为何物的时候创办 Cloudera,可谓非常有眼光。还有一点不得不提的是,Cloudera 的首席架构师 Doug Cutting, 也就是 Hadoop 的第一位作者,后来被 Yahoo! 招安,再之后转投 Cloudera。顺风顺水,后来升至 Apache 基金会主席。

Cloudera 的 Hadoop 发行版 CDH 是免费的,但是公司通过卖服务赚钱。比如 Hadoop 集群的管理软件 Cloudera Manager 就是收费的。Cloudera Manager 的功能包括集群的管理、部署、监控、升级等,简单来说就是运维。而这些都是公有云要做的,毕竟云计算就是卖运维。

Cloudera 在 2014 年随着不断融资,投资方包括 Intel、Google,市值到达顶峰 41 亿美元。之所以说是顶峰,是因为之后的三年 Cloudera 的发展并没有如预想中的顺利,也终于在 2017 年以 20 多亿美元匆忙上市。

Hortonworks

Hortonworks 于 2011 年由 Yahoo! 的 Hadoop 团队拆分而成,和 Cloudera 不同的是,Hortonworks 的代码是完全开源的。但是相比 Cloudera 起步晚,而且缺少了 Doug Cutting 这种领袖人物,亮点可谓乏善可陈。公司成立三年就于 2014 年匆忙上市,上市之初市值十多亿美元。

无论是 Cloudera 还是 Hortonworks 都没有赶上云产商这班车,比如著名的开源软件吸血鬼 AWS,针对 Hadoop 生态的公有云产品 Elastic MapReduce 对 Cloudera 和 Hortonworks 两家公司的影响不可谓不小。可能是疲于同行业内耗,最终两家公司与 2018 年 10 月份宣布合并,但是以事后的角度来看,合并并没有什么用。

MapR

MapR 的创始人 M.C.Srivas 来自于 Google。客观来说 GFS 架构设计其实并不是很好,HDFS 相当于对 GFS 论文的一种拙劣的模仿。而 Google 内部使用的分布式文件系统也是多方面碾压 HDFS。所以 M.C.Srivas 创立 MapR 的时候就将 Hadoop 的文件系统 HDFS 进行了重构,同时兼容了 Hadoop 协议,但是是闭源的。MapR 的商业化之路主打系统的性能等优于开源 Hadoop 的特性,在售价上也要高于 Cloudera。MapR 一度给人一种用技术挑战整个 Hadoop 社区的感觉,只不过很多人不买账。

在 MapR 看似一切都还发展不错的时候,M.C.Srivas 在 2016 年离开了 MapR 加入了 Uber。对于一个创业公司来说并不是一个好的信号,直到 2019 年 5 月底爆出消息,MapR 融资困难,可能在不久之后关闭。曾经估值高达 10 亿美元的一代枭雄或将在此陨落。

 

启    示

Hadoop 除了这三家发行商,目前在各大云厂商上都还以 Elastic MapReduce 的形态存在,包括 AWS EMR、Aliyun EMR 等。目前来看,对于 Hadoop 的存在形态,还会在公有云上存在一段时间。但是还能存在多久,拭目以待。

Hadoop 商业化平台的衰败或许并不能代表整个大数据行业的衰败,但是却预示着 Hadoop 的失败,对 Hadoop 的后续开发维护必然会产生影响。

作为 Hadoop 的替代产品,HDFS 在 AWS 上早已被 S3 取代。国内的各大公有云产生也有自己自研的文件系统。YARN 或许还能存在一段时间,很早之前就有人推崇使用 Kubernetes 来替代 YARN 作为资源调度器。但是由于 Kubernetes 的调度器是一种集中式的资源调度器,而 YARN 是两层资源调度器,目前 YARN 上面的作业并不能很容易地无缝迁移到 Kubernetes。

结    语

Hadoop 本是 Google 的上一代技术三架马车(GFS、MapReduce、BigTable)的模仿,设计不可谓优雅,但是也发展了十年左右,借着大数据的这班车也抢尽了风头。如今 Google 又开源了 Kubernetes 系统,大家才发现进程应该结合 Namespace 和 Cgroup 来跑,然后整个社区又被 Google 带着跑。

有的时候不得不说,号称不做恶的 Google 有的时候还是挺坏的。



 

这篇关于大数据独角兽Cloudera股价腰斩,Hadoop将何去何从的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/332585

相关文章

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》:本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法: 示例:2.TRUNCATE语句✅ 基本语

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查

python实现对数据公钥加密与私钥解密

《python实现对数据公钥加密与私钥解密》这篇文章主要为大家详细介绍了如何使用python实现对数据公钥加密与私钥解密,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录公钥私钥的生成使用公钥加密使用私钥解密公钥私钥的生成这一部分,使用python生成公钥与私钥,然后保存在两个文

mysql中的数据目录用法及说明

《mysql中的数据目录用法及说明》:本文主要介绍mysql中的数据目录用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、版本3、数据目录4、总结1、背景安装mysql之后,在安装目录下会有一个data目录,我们创建的数据库、创建的表、插入的

Navicat数据表的数据添加,删除及使用sql完成数据的添加过程

《Navicat数据表的数据添加,删除及使用sql完成数据的添加过程》:本文主要介绍Navicat数据表的数据添加,删除及使用sql完成数据的添加过程,具有很好的参考价值,希望对大家有所帮助,如有... 目录Navicat数据表数据添加,删除及使用sql完成数据添加选中操作的表则出现如下界面,查看左下角从左

SpringBoot中4种数据水平分片策略

《SpringBoot中4种数据水平分片策略》数据水平分片作为一种水平扩展策略,通过将数据分散到多个物理节点上,有效解决了存储容量和性能瓶颈问题,下面小编就来和大家分享4种数据分片策略吧... 目录一、前言二、哈希分片2.1 原理2.2 SpringBoot实现2.3 优缺点分析2.4 适用场景三、范围分片

Redis分片集群、数据读写规则问题小结

《Redis分片集群、数据读写规则问题小结》本文介绍了Redis分片集群的原理,通过数据分片和哈希槽机制解决单机内存限制与写瓶颈问题,实现分布式存储和高并发处理,但存在通信开销大、维护复杂及对事务支持... 目录一、分片集群解android决的问题二、分片集群图解 分片集群特征如何解决的上述问题?(与哨兵模

浅析如何保证MySQL与Redis数据一致性

《浅析如何保证MySQL与Redis数据一致性》在互联网应用中,MySQL作为持久化存储引擎,Redis作为高性能缓存层,两者的组合能有效提升系统性能,下面我们来看看如何保证两者的数据一致性吧... 目录一、数据不一致性的根源1.1 典型不一致场景1.2 关键矛盾点二、一致性保障策略2.1 基础策略:更新数