大数据方向另一个十年开启 |《硬刚系列》第一版完结

2024-09-06 19:08

本文主要是介绍大数据方向另一个十年开启 |《硬刚系列》第一版完结,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

《硬刚Presto|Presto原理&调优&面试&实战全面升级版》

《硬刚Apache Iceberg | 技术调研&在各大公司的实践应用大总结》

《硬刚ClickHouse | 4万字长文ClickHouse基础&实践&调优全视角解析》

《硬刚数据仓库|SQL Boy的福音之数据仓库体系建模&实施&注意事项小总结》

《硬刚Hive | 4万字基础调优面试小总结》

《硬刚用户画像(一) | 标签体系下的用户画像建设小指南》

《硬刚用户画像(二) | 基于大数据的用户画像构建小百科全书》

《我们在学习Spark的时候,到底在学习什么?

我们在学习Flink的时候,到底在学习什么?》

我先声明一下,有些文章我没有标记原创,任何未经本人授权转载一律追究侵权责任。

【硬刚系列】是针对某一个框架/知识点进行的系统性总结和学习,基本上也是个人学习的必要路径。个人会从一个框架/知识点入手进行全方位的立体整合。

争取一篇文章能介绍清楚来龙去脉和重点难点,读者根据需要去针对性的学习。

上面是当初我立Flag的时候,写的简介。第一个版本主要针对一些OLAP框架为主吧。我个人感觉基本目的都达到了。

上面的每篇文章都参考了10篇以上的我的个人笔记和外部资料。有些非常经典的论文在我的收藏夹里躺了超过3年之久。

有些文章的名字可能没有「硬刚」字眼,但是行文思路基本上也是按照原来的设想进行的。

与自己是一种总结。与读者是一种输入。

大家都有收获,岂不美哉?

写了这么久文章,除了恰饭的时候,一直保持着旺盛的精力和强大的输出,有时候也真是疲倦,感觉找不到什么方向去突破。

现在的大数据行业细分也秉持了10年的刚刚出现的时候的姿态一直在向前发展,未来可能有些方向会慢慢消亡,或者从传统的定义进化。

比如传统的BI岗位,这个岗位已经开始慢慢在消亡,和传统的离线数据仓库&实时数据仓库进行了有机的融合。再比如,原来有个岗位叫做 ETL,也慢慢要淡出大家视野了,因为技能的局限性和可替代性太强?

最近的一年来,Flink社区仍然保持比较旺盛的活力,更多的原因是因为社区的推动,与开发者不过是个工具,与阿里是技术影响力和商业化考量。

数据湖方向发展方兴未艾,都想攀上Flink社区的大树。未来谨慎看好吧,因为并未给一家业务主导的公司带来实质性的改变。

最近Apache社区停更了Sqoop,阿帕奇社区的几个项目在阶段性的完成了它的使命后最终都落幕了。比如刚刚停更的Sqoop,可能还有些同学在用的Kettle,还有我很早接触过的一个Falcon,它们早就该消失在历史的滚滚洪流中了。

自今年4月1日起,Apache软件基金会宣布将至少19个开源项目撤回到他们的Attic,其中13个与大数据相关,10个属于Hadoop生态系统。这种事情的发生基本也可以宣布大数据领域的黄金十年(2010-2020年)结束了。

很多同学可能都没有仔细了解过大数据这个细分方向的历史,但是没有关系,下一个十年你们有机会一起见证了。

我之前还写过一篇《2021年,开发者的落日》,从我个人感情角度讲,不太想写这种唱衰的文章,但是我看到一些现象就会引发思考。

居安思危也许是人类经过百万年的进化得以统治地球的原因吧。

周末一个星球里的校招应届生找到我,关于学习路线和未来发展方向的问题。

我觉得我又有新的方向了,大数据行业马上要迎来井喷式增长的10年,大量从业人员从学校开始涌入。也代表这个行业走向历史的拐点了。

从野蛮发展到科班式培养,更多的应届生愿意从事这个行业,也是好事儿。

我觉得他们缺一个引路人,比如我。

好了,本次分享就到这里了。欢迎大家「点赞」「分享」「在看」。

我是王知无,一个大数据领域的硬核原创作者。关注技术提升&个人成长&职场进阶,欢迎关注。

这篇关于大数据方向另一个十年开启 |《硬刚系列》第一版完结的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1142870

相关文章

MySQL快速复制一张表的四种核心方法(包括表结构和数据)

《MySQL快速复制一张表的四种核心方法(包括表结构和数据)》本文详细介绍了四种复制MySQL表(结构+数据)的方法,并对每种方法进行了对比分析,适用于不同场景和数据量的复制需求,特别是针对超大表(1... 目录一、mysql 复制表(结构+数据)的 4 种核心方法(面试结构化回答)方法 1:CREATE

详解C++ 存储二进制数据容器的几种方法

《详解C++存储二进制数据容器的几种方法》本文主要介绍了详解C++存储二进制数据容器,包括std::vector、std::array、std::string、std::bitset和std::ve... 目录1.std::vector<uint8_t>(最常用)特点:适用场景:示例:2.std::arra

MySQL中的DELETE删除数据及注意事项

《MySQL中的DELETE删除数据及注意事项》MySQL的DELETE语句是数据库操作中不可或缺的一部分,通过合理使用索引、批量删除、避免全表删除、使用TRUNCATE、使用ORDERBY和LIMI... 目录1. 基本语法单表删除2. 高级用法使用子查询删除删除多表3. 性能优化策略使用索引批量删除避免

MySQL 数据库进阶之SQL 数据操作与子查询操作大全

《MySQL数据库进阶之SQL数据操作与子查询操作大全》本文详细介绍了SQL中的子查询、数据添加(INSERT)、数据修改(UPDATE)和数据删除(DELETE、TRUNCATE、DROP)操作... 目录一、子查询:嵌套在查询中的查询1.1 子查询的基本语法1.2 子查询的实战示例二、数据添加:INSE

Linux服务器数据盘移除并重新挂载的全过程

《Linux服务器数据盘移除并重新挂载的全过程》:本文主要介绍在Linux服务器上移除并重新挂载数据盘的整个过程,分为三大步:卸载文件系统、分离磁盘和重新挂载,每一步都有详细的步骤和注意事项,确保... 目录引言第一步:卸载文件系统第二步:分离磁盘第三步:重新挂载引言在 linux 服务器上移除并重新挂p

使用MyBatis TypeHandler实现数据加密与解密的具体方案

《使用MyBatisTypeHandler实现数据加密与解密的具体方案》在我们日常的开发工作中,经常会遇到一些敏感数据需要存储,比如用户的手机号、身份证号、银行卡号等,为了保障数据安全,我们通常会对... 目录1. 核心概念:什么是 TypeHandler?2. 实战场景3. 代码实现步骤步骤 1:定义 E

使用C#导出Excel数据并保存多种格式的完整示例

《使用C#导出Excel数据并保存多种格式的完整示例》在现代企业信息化管理中,Excel已经成为最常用的数据存储和分析工具,从员工信息表、销售数据报表到财务分析表,几乎所有部门都离不开Excel,本文... 目录引言1. 安装 Spire.XLS2. 创建工作簿和填充数据3. 保存为不同格式4. 效果展示5

Python多任务爬虫实现爬取图片和GDP数据

《Python多任务爬虫实现爬取图片和GDP数据》本文主要介绍了基于FastAPI开发Web站点的方法,包括搭建Web服务器、处理图片资源、实现多任务爬虫和数据可视化,同时,还简要介绍了Python爬... 目录一. 基于FastAPI之Web站点开发1. 基于FastAPI搭建Web服务器2. Web服务

MySQL 批量插入的原理和实战方法(快速提升大数据导入效率)

《MySQL批量插入的原理和实战方法(快速提升大数据导入效率)》在日常开发中,我们经常需要将大量数据批量插入到MySQL数据库中,本文将介绍批量插入的原理、实现方法,并结合Python和PyMySQ... 目录一、批量插入的优势二、mysql 表的创建示例三、python 实现批量插入1. 安装 PyMyS

关于MySQL将表中数据删除后多久空间会被释放出来

《关于MySQL将表中数据删除后多久空间会被释放出来》MySQL删除数据后,空间不会立即释放给操作系统,而是会被标记为“可重用”,以供未来插入新数据时使用,只有满足特定条件时,空间才可能真正返还给操作... 目录一、mysql数据删除与空间管理1.1 理解MySQL数据删除原理1.3 执行SQL1.3 使用