浪尖聊聊大数据从业者的迷茫及解决方案

2023-10-08 23:48

本文主要是介绍浪尖聊聊大数据从业者的迷茫及解决方案,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

最近不少粉丝找浪尖私聊,说做大数据久了比较迷茫,今天浪尖抽时间写篇文章聊聊做大数据迷茫了怎么办!

一 现状

目前的迷茫最主要原因是行业趋势所致,了解一下大数据行业的现状:

对于整个行业来说处于上升期的小平台期。

这么说的原因是需要大数据平台的公司都多多少少已经建立了平台或者已经上云,对这类初级学者需求减弱,更需要有能力做平台运维,运维开发,平台框架开发,数仓,建模,算法等相关人才。

大数据相关业务比如数仓,数据分析,bi等已初具模型,而且有成熟的云解决方案,保不齐小公司直接全部上云了,需要的是云平台使用者,和简单的数据搬运工。

对于大数据人才来说,五年以内偏多,三年以内人才扎堆儿,这些数据大数据行业的耕耘者,本身需要学习和摸索。

学习本身也是一个慢长的过程,况且大数据领域内容还是颇多的,所以综上所述,这个迷茫阶段也是能力分化,领域细分的阶段,所以自己要选好自己的方向,以深耕。

但大数据还大有可为,因为很多数据采集还在继续中,将来肯定是一个数字化的社会。所以说是大数据处于上升期的小平台期,主要是大数据技术领域逐步趋于稳定,以后更多的是业务,算法,超大规模数据处理能力,数据的应用及数据产品化的能力。

上面是行业及人才需要现状,对于个人来说迷茫的主要原因两点:

1.对现状不满

主要特点:

a.事情比较简单,甚至无事情做,对技术或者业务技能提升无助。

b.大事儿没有,屁事颇多,每天机械的忙。

2.对前途迷茫

主要特点:

a.公司业务需求技术简单,目前架构落后,且领导没有变更意愿,致使自己无法实战新的技术框架,没有技能提升,担心今后被淘汰。

b.当前公司超忙且是重复的工作,或者太具体化到一个点,然后能接受的公司有超少。由于忙又没时间学习,扩展新技能,所以觉得前途堪忧。

二 迷茫&突破

针对常见的大数据工作,聊聊如何突破:

1.平台运维及运维开发

想要提升,可以从以下几个方面:

a.日志告警中心

日志采集,包括各个框架的运行日志,定义日志格式,开发专业的实时规则引擎,实时告警系统,指标展示系统。

这个平台基本是全栈学习了,成长还是十足!

b.平台化

基础框架集成系统开发,针对性地框架二次开发,自动化部署,监控及故障自动处理系统开发。

这个模块牵涉到Java技术栈,框架如spark,kafka等源码阅读及二次开发,也是过硬的技术提升。

2.平台框架开发

主要是讲针对业务需求特别,现有框架不好满足需求,需要造轮子或者改造现有框架,以适应业务需求,比如最近浪尖开发的图数据库等。

这个要求对业务场景,查询需求,底层存储有深入的了解,然后针对现有框架进行大幅改造,也可以参考现有框架从零造出自己的轮子,以满足需求。

能做到这个层次我觉得很难迷茫了!

可以走平台管理路线,架构师路线,也可以轻松转业务及项目管理,运维及运维开发。

3.数仓建设

a.模型设计

数仓模型层次划分:

模型

主要业务梳理,数据指标确立,模型确立,建模方法学习及使用,指标系统建立等,当然文档编写在这个模块中占了很大比例。

由于手打,细节就不说了,大家可以关注浪尖,搜数仓,进一步学习。

这块感觉还是比较有意思,而且成长空间比较大,可以走项目管理路线。

b.数仓平台建设

其实,属于基础平台建设的一部分吧,主要分为离线和实时数仓。

主要工作平台化,集成化,针对需求的二次开发。由于目前云计算及flink等框架有提供数仓一站式解决方案的趋势,该领域需求未来可能也会减弱。

技术要求跟平台开发差不多,不过需求进一步了解业务,以设计具体的存储和计算框架,还是有技术壁垒。

c.ETL工程狮

嘎嘛?挺没意思的,主要是针对数仓的各个层或者业务需求,生产,搬运数据,数据量大了这活还有的玩,数据量小的话可能就是没意思了!

针对ETL应该可以做实时分发,实时ETL规则引擎,离线ETL处理引擎,逐步实现平台化,配置化。这样可以增加难度,减少开发部署成本,也可以提升自己的技术水平,为跃级做准备!

d.业务梳理及开发

俗称sqlboy,最容易迷茫,叫boy就说明问题了,不是说sql开发,能力就弱,而是说大数据领域sql开发,确实很少有太高难度,而且很容易形成模块化,比如各类报表系统。所以,成长性比较低。

sql boy可以往数仓模型设计,数仓平台设计方向发展。

4.数据分析&挖掘

大数据分析,机器学习,深度学习,nlp等对数学及建模要求很高,那么学习成本,实践成本都会很高。不做过多点评,因为浪尖也没做过!

5.公司的全栈工程师

一般是小公司的需求,一个人拿1.5-2个人的工资,干一个团队的活。全栈工程师有好处,就是技术面宽,但缺点也很明显,无法形成自己的技术特长和壁。

建议去下大公司洗礼下。

三 总结

公司小,业务简单,数据量小等都不利于大数据从业者。

这种情况,要自己学习,然后进阶跳槽!

做好学习计划,按部就班,步步为营,才不会迷茫。

推荐阅读框架源码,刷leetcode。

学习乐园

浪尖聊大数据

这篇关于浪尖聊聊大数据从业者的迷茫及解决方案的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/168807

相关文章

使用Python开发一个Ditto剪贴板数据导出工具

《使用Python开发一个Ditto剪贴板数据导出工具》在日常工作中,我们经常需要处理大量的剪贴板数据,下面将介绍如何使用Python的wxPython库开发一个图形化工具,实现从Ditto数据库中读... 目录前言运行结果项目需求分析技术选型核心功能实现1. Ditto数据库结构分析2. 数据库自动定位3

pandas数据的合并concat()和merge()方式

《pandas数据的合并concat()和merge()方式》Pandas中concat沿轴合并数据框(行或列),merge基于键连接(内/外/左/右),concat用于纵向或横向拼接,merge用于... 目录concat() 轴向连接合并(1) join='outer',axis=0(2)join='o

批量导入txt数据到的redis过程

《批量导入txt数据到的redis过程》用户通过将Redis命令逐行写入txt文件,利用管道模式运行客户端,成功执行批量删除以Product*匹配的Key操作,提高了数据清理效率... 目录批量导入txt数据到Redisjs把redis命令按一条 一行写到txt中管道命令运行redis客户端成功了批量删除k

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

使用Python构建智能BAT文件生成器的完美解决方案

《使用Python构建智能BAT文件生成器的完美解决方案》这篇文章主要为大家详细介绍了如何使用wxPython构建一个智能的BAT文件生成器,它不仅能够为Python脚本生成启动脚本,还提供了完整的文... 目录引言运行效果图项目背景与需求分析核心需求技术选型核心功能实现1. 数据库设计2. 界面布局设计3

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3

Java.lang.InterruptedException被中止异常的原因及解决方案

《Java.lang.InterruptedException被中止异常的原因及解决方案》Java.lang.InterruptedException是线程被中断时抛出的异常,用于协作停止执行,常见于... 目录报错问题报错原因解决方法Java.lang.InterruptedException 是 Jav

kkFileView在线预览office的常见问题以及解决方案

《kkFileView在线预览office的常见问题以及解决方案》kkFileView在线预览Office常见问题包括base64编码配置、Office组件安装、乱码处理及水印添加,解决方案涉及版本适... 目录kkFileView在线预览office的常见问题1.base642.提示找不到OFFICE组件

SpringBoot监控API请求耗时的6中解决解决方案

《SpringBoot监控API请求耗时的6中解决解决方案》本文介绍SpringBoot中记录API请求耗时的6种方案,包括手动埋点、AOP切面、拦截器、Filter、事件监听、Micrometer+... 目录1. 简介2.实战案例2.1 手动记录2.2 自定义AOP记录2.3 拦截器技术2.4 使用Fi

C#监听txt文档获取新数据方式

《C#监听txt文档获取新数据方式》文章介绍通过监听txt文件获取最新数据,并实现开机自启动、禁用窗口关闭按钮、阻止Ctrl+C中断及防止程序退出等功能,代码整合于主函数中,供参考学习... 目录前言一、监听txt文档增加数据二、其他功能1. 设置开机自启动2. 禁止控制台窗口关闭按钮3. 阻止Ctrl +