浪尖聊聊大数据从业者的迷茫及解决方案

2023-10-08 23:48

本文主要是介绍浪尖聊聊大数据从业者的迷茫及解决方案,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

最近不少粉丝找浪尖私聊,说做大数据久了比较迷茫,今天浪尖抽时间写篇文章聊聊做大数据迷茫了怎么办!

一 现状

目前的迷茫最主要原因是行业趋势所致,了解一下大数据行业的现状:

对于整个行业来说处于上升期的小平台期。

这么说的原因是需要大数据平台的公司都多多少少已经建立了平台或者已经上云,对这类初级学者需求减弱,更需要有能力做平台运维,运维开发,平台框架开发,数仓,建模,算法等相关人才。

大数据相关业务比如数仓,数据分析,bi等已初具模型,而且有成熟的云解决方案,保不齐小公司直接全部上云了,需要的是云平台使用者,和简单的数据搬运工。

对于大数据人才来说,五年以内偏多,三年以内人才扎堆儿,这些数据大数据行业的耕耘者,本身需要学习和摸索。

学习本身也是一个慢长的过程,况且大数据领域内容还是颇多的,所以综上所述,这个迷茫阶段也是能力分化,领域细分的阶段,所以自己要选好自己的方向,以深耕。

但大数据还大有可为,因为很多数据采集还在继续中,将来肯定是一个数字化的社会。所以说是大数据处于上升期的小平台期,主要是大数据技术领域逐步趋于稳定,以后更多的是业务,算法,超大规模数据处理能力,数据的应用及数据产品化的能力。

上面是行业及人才需要现状,对于个人来说迷茫的主要原因两点:

1.对现状不满

主要特点:

a.事情比较简单,甚至无事情做,对技术或者业务技能提升无助。

b.大事儿没有,屁事颇多,每天机械的忙。

2.对前途迷茫

主要特点:

a.公司业务需求技术简单,目前架构落后,且领导没有变更意愿,致使自己无法实战新的技术框架,没有技能提升,担心今后被淘汰。

b.当前公司超忙且是重复的工作,或者太具体化到一个点,然后能接受的公司有超少。由于忙又没时间学习,扩展新技能,所以觉得前途堪忧。

二 迷茫&突破

针对常见的大数据工作,聊聊如何突破:

1.平台运维及运维开发

想要提升,可以从以下几个方面:

a.日志告警中心

日志采集,包括各个框架的运行日志,定义日志格式,开发专业的实时规则引擎,实时告警系统,指标展示系统。

这个平台基本是全栈学习了,成长还是十足!

b.平台化

基础框架集成系统开发,针对性地框架二次开发,自动化部署,监控及故障自动处理系统开发。

这个模块牵涉到Java技术栈,框架如spark,kafka等源码阅读及二次开发,也是过硬的技术提升。

2.平台框架开发

主要是讲针对业务需求特别,现有框架不好满足需求,需要造轮子或者改造现有框架,以适应业务需求,比如最近浪尖开发的图数据库等。

这个要求对业务场景,查询需求,底层存储有深入的了解,然后针对现有框架进行大幅改造,也可以参考现有框架从零造出自己的轮子,以满足需求。

能做到这个层次我觉得很难迷茫了!

可以走平台管理路线,架构师路线,也可以轻松转业务及项目管理,运维及运维开发。

3.数仓建设

a.模型设计

数仓模型层次划分:

模型

主要业务梳理,数据指标确立,模型确立,建模方法学习及使用,指标系统建立等,当然文档编写在这个模块中占了很大比例。

由于手打,细节就不说了,大家可以关注浪尖,搜数仓,进一步学习。

这块感觉还是比较有意思,而且成长空间比较大,可以走项目管理路线。

b.数仓平台建设

其实,属于基础平台建设的一部分吧,主要分为离线和实时数仓。

主要工作平台化,集成化,针对需求的二次开发。由于目前云计算及flink等框架有提供数仓一站式解决方案的趋势,该领域需求未来可能也会减弱。

技术要求跟平台开发差不多,不过需求进一步了解业务,以设计具体的存储和计算框架,还是有技术壁垒。

c.ETL工程狮

嘎嘛?挺没意思的,主要是针对数仓的各个层或者业务需求,生产,搬运数据,数据量大了这活还有的玩,数据量小的话可能就是没意思了!

针对ETL应该可以做实时分发,实时ETL规则引擎,离线ETL处理引擎,逐步实现平台化,配置化。这样可以增加难度,减少开发部署成本,也可以提升自己的技术水平,为跃级做准备!

d.业务梳理及开发

俗称sqlboy,最容易迷茫,叫boy就说明问题了,不是说sql开发,能力就弱,而是说大数据领域sql开发,确实很少有太高难度,而且很容易形成模块化,比如各类报表系统。所以,成长性比较低。

sql boy可以往数仓模型设计,数仓平台设计方向发展。

4.数据分析&挖掘

大数据分析,机器学习,深度学习,nlp等对数学及建模要求很高,那么学习成本,实践成本都会很高。不做过多点评,因为浪尖也没做过!

5.公司的全栈工程师

一般是小公司的需求,一个人拿1.5-2个人的工资,干一个团队的活。全栈工程师有好处,就是技术面宽,但缺点也很明显,无法形成自己的技术特长和壁。

建议去下大公司洗礼下。

三 总结

公司小,业务简单,数据量小等都不利于大数据从业者。

这种情况,要自己学习,然后进阶跳槽!

做好学习计划,按部就班,步步为营,才不会迷茫。

推荐阅读框架源码,刷leetcode。

学习乐园

浪尖聊大数据

这篇关于浪尖聊聊大数据从业者的迷茫及解决方案的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/168807

相关文章

javax.net.ssl.SSLHandshakeException:异常原因及解决方案

《javax.net.ssl.SSLHandshakeException:异常原因及解决方案》javax.net.ssl.SSLHandshakeException是一个SSL握手异常,通常在建立SS... 目录报错原因在程序中绕过服务器的安全验证注意点最后多说一句报错原因一般出现这种问题是因为目标服务器

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,:本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式(断开连接)2.2 修改数据库名称2.3 查找逻辑文件名

C++高效内存池实现减少动态分配开销的解决方案

《C++高效内存池实现减少动态分配开销的解决方案》C++动态内存分配存在系统调用开销、碎片化和锁竞争等性能问题,内存池通过预分配、分块管理和缓存复用解决这些问题,下面就来了解一下... 目录一、C++内存分配的性能挑战二、内存池技术的核心原理三、主流内存池实现:TCMalloc与Jemalloc1. TCM

canal实现mysql数据同步的详细过程

《canal实现mysql数据同步的详细过程》:本文主要介绍canal实现mysql数据同步的详细过程,本文通过实例图文相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的... 目录1、canal下载2、mysql同步用户创建和授权3、canal admin安装和启动4、canal

MyBatis Plus 中 update_time 字段自动填充失效的原因分析及解决方案(最新整理)

《MyBatisPlus中update_time字段自动填充失效的原因分析及解决方案(最新整理)》在使用MyBatisPlus时,通常我们会在数据库表中设置create_time和update... 目录前言一、问题现象二、原因分析三、总结:常见原因与解决方法对照表四、推荐写法前言在使用 MyBATis

使用SpringBoot整合Sharding Sphere实现数据脱敏的示例

《使用SpringBoot整合ShardingSphere实现数据脱敏的示例》ApacheShardingSphere数据脱敏模块,通过SQL拦截与改写实现敏感信息加密存储,解决手动处理繁琐及系统改... 目录痛点一:痛点二:脱敏配置Quick Start——Spring 显示配置:1.引入依赖2.创建脱敏

Java死锁问题解决方案及示例详解

《Java死锁问题解决方案及示例详解》死锁是指两个或多个线程因争夺资源而相互等待,导致所有线程都无法继续执行的一种状态,本文给大家详细介绍了Java死锁问题解决方案详解及实践样例,需要的朋友可以参考下... 目录1、简述死锁的四个必要条件:2、死锁示例代码3、如何检测死锁?3.1 使用 jstack3.2

html 滚动条滚动过快会留下边框线的解决方案

《html滚动条滚动过快会留下边框线的解决方案》:本文主要介绍了html滚动条滚动过快会留下边框线的解决方案,解决方法很简单,详细内容请阅读本文,希望能对你有所帮助... 滚动条滚动过快时,会留下边框线但其实大部分时候是这样的,没有多出边框线的滚动条滚动过快时留下边框线的问题通常与滚动条样式和滚动行

Oracle修改端口号之后无法启动的解决方案

《Oracle修改端口号之后无法启动的解决方案》Oracle数据库更改端口后出现监听器无法启动的问题确实较为常见,但并非必然发生,这一问题通常源于​​配置错误或环境冲突​​,而非端口修改本身,以下是系... 目录一、问题根源分析​​​二、保姆级解决方案​​​​步骤1:修正监听器配置文件 (listener.

MySQL版本问题导致项目无法启动问题的解决方案

《MySQL版本问题导致项目无法启动问题的解决方案》本文记录了一次因MySQL版本不一致导致项目启动失败的经历,详细解析了连接错误的原因,并提供了两种解决方案:调整连接字符串禁用SSL或统一MySQL... 目录本地项目启动报错报错原因:解决方案第一个:第二种:容器启动mysql的坑两种修改时区的方法:本地