大数据技术知识的学习及其切入点

本文主要是介绍大数据技术知识的学习及其切入点，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

大数据如何规划学习路线?目前大数据技术正处在落地应用的初期，未来传统行业将陆续释放出大量的大数据岗位，就业前景也比较广阔。那么学习大数据应该如何规划学习路线呢?

在目前各类书籍和知识中如何选择适合自己的?

首要的问题：学习大数据要有充足的大数据源

也许很多人会想到使用交通大数据、金融大数据、医疗大数据、政务大数据等，但是仔细一想，这些数据的开放性很差。从本质上讲，这些数据涉及到民众的大量隐私问题，即使能开放共享，也需要在特定的、受控的场合下使用，而这实际上这并不可行。在《互联网大数据处理技术与应用》一书中，我们阐述了互联网大数据作为教学、学习以及开发应用的重要性和可行性。

其次，选择自己的技术特长和学习的兴趣点

大数据技术通常包含3或4层的技术，以互联网大数据技术为例，其技术体系包含四层，即数据获取层、大数据计算与存储层、数据挖掘模型与算法层以及应用领域技术层。

作为大数据的学习者可以选择这四个层面作为自己的切入点。作为高校大数据教学，让学生进行系统地学习则是很重要的，这样有利于给学生一个全局、整体的理解，这样就要求以“系统学习的切入点”入手。

另外，分析各个层次选择的一些考虑。

数据获取层：技术手段比较多样化，对于互联网大数据而言，数据的获取主要有三类方法，即网络爬虫、网络探针以及ETL。虽然爬虫技术也被越来越多的人所认识，但是爬虫形式多样化，包含普通爬虫、主题爬虫、微博爬虫、DeppWeb爬虫、动态爬虫（比如易海聚信息采集软件），有共同的技术特点，也有较大的差异。以该层作为重点的话，应当深入理解爬虫的技术原理，以便能对爬虫采集的性能进行底层优化，特别是在爬行策略的设计上。

大数据计算与存储层：这个层次上的计算是指面向大数据分析的一些底层算法，典型的包括排序、搜索、查找、最短路径、矩阵运算等。这些算法与具体应用无关，它们为上层的数据挖掘提供基本的函数调用，算法性能的重要性不言而喻。一般需要一些分布式计算平台支持，例如Spark、Hadoop。但是该层作为研究和学习的重点，存在一定风险，就是平台技术的迭代太快，或许你还没有把Spark的技术原理彻底搞清楚，就有新的更好的平台出现，大家都追随新平台去了，老平台被大家抛弃。

数据挖掘模型与算法层：这个层次对采集的数据进行处理，根据具体应用需求，运用大数据分析算法进行数据分析，建立相关模型。各种大数据分析挖掘算法主要包括数据聚类、分类、相关性计算、回归、预测等。这些算法的输出结果将直接为领域提供具体的分析结果，是大数据分析的真正产出。在这个层次中，隐私保护技术是一种比较特殊的技术手段，主要用于对大数据中涉及个人和单位的敏感信息进行脱敏。针对该层，也有一些典型的开源系统，如运行于Hadoop 上的Mahout、Weka、oryx 以及运行于Spark上的MLib 等，都对大数据分析提供了支撑，同时也允许自己对算法进行改进和提升。是一个不错的切入点。

应用领域技术层：在这个层次，主要涉及到与具体应用领域有关的技术。这些技术通常就与用户UI、系统管理、输出有关。

对于广大学生以及一部分职场人来说，要想提升学习大数据技术的效率，同时掌握一定的大数据技术，需要从以下几个方面入手：

第一：根据自身的知识结构来制定学习方案。大数据技术涉及到数学、统计学和计算机三方面知识，所以要想找到适合自己的学习切入点，应该从自身的实际情况出发。如果具有一定的统计学基础，那么可以从数据分析开始学起，而如果具有一定的计算机基础，那么可以从大数据开发开始学起。

第二：注重动手实践能力的培养。学习大数据技术一定要注重动手实践能力的培养，比如学习数据分析可以从基本的Excel工具开始学起，然后进一步学习数据库知识以及各种BI工具，而如果学习大数据开发知识，应该首先从编程语言开始学起（Java、Python、Scala、R等），然后学习大数据平台的相关知识（Hadoop、Spark）。

第三：注重行业知识的积累。要想真正掌握大数据技术，一定要把大数据技术进行落地应用，而要想完成大数据技术的落地应用，则一定要具备一定的行业知识。目前大数据技术在金融、医疗等领域就积累了大量的数据，而且这些行业也有比较多的大数据落地应用案例，可以参考学习。

来源：简书