究竟多大才算是大数据,大数据怎么学习?

2023-11-22 11:20

本文主要是介绍究竟多大才算是大数据,大数据怎么学习?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

大数据,什么是大数据呢?多大的数据叫大数据?红火一时的数据分析走向了我们,纷纷称不分析数据企业将长久不了,可是究竟什么样的数据才是大数据呢,什么样的数据才是最大的呢?

如果你没有接触过大数据,那么你就不知道大数据究竟有多大,大到什么样的数据才能称之为大数据。那么,根据数据收集的端口,企业端与个人端之间,大数据的数量级别是不同的。
在这里插入图片描述

大数据开发学习有一定难度,零基础入门首先要学习Java语言打基础,一般而言,Java学习SE、EE,需要约3个月的时间;然后进入大数据技术体系的学习,主要学习Hadoop、Spark、Storm等,

什么是大数据 究竟多大才算是大数据

大数据是什么?

多大的数据叫大数据?

很多没有接触过大数据的人,都很难清楚地知道,究竟多大的数据量才可以称之为大数据。那么,根据数据收集的端口,企业端与个人端之间,大数据的数量级别是不同的。

在这里还是要推荐下我自己建的大数据学习交流群:251956502,群里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据软件开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴加入。

企业端(B端)数据近十万的级别,就可以称为大数据;个人端(C端)的大数据要达到千万级别。收集渠道没有特定要求,PC端、移动端或传统渠道都可以,重点要达到这样数量级的有效数据,形成数据服务即可。很有趣,大家可以看到2B和2C,两类大数据差了两个数量级。

有些小公司,数据只有千到万级的规模,但经过收集分析,也能从中有针对性的总结出这一群体的原则,同样能指导企业进行一定程度的用户分析、获取或者是服务工作,但这并不是大数据,而是一般性的数据挖掘。

刚刚天小妹分享的那个案例,说今年年初有个用50块本金摆地摊卖水果的中年人,他并不懂得大数据,但是他对水果的收成了若指掌:他知道哪个地方下了多少雨,水果的甜度会到多少,哪些地方的消费者会喜欢吃这个甜度的水果。卖到最后卖出了137家门店、4.7亿的年销售额。

这确实是一种小的数据挖掘,但并不是数据分析。大数据分析虽然脱胎于此,但大数据面向的是更海量的一个数据,借助了更广义的知识数据库的分析方法。大部分的数据公司的数据来源是海量的,它的收集和分析,并不是局限于个体,而是以一个非常非常广泛的群体为对象展开的。

大数据的产业链是怎样的?

我在接受采访的时候,依照大数据公司在产业链的上下游关系,提出把它们分成三种不同类别:

大数据采集公司

所谓“找数据”,内部可以再分两种:

在自身正常运营的过程中就能产生大量数据源;

通过跟电信运营商、金融企业合作,获取数据源。

大数据分析公司

这一类公司,基本上都有自己的套模型,但大部分数据库模型源于相同的几个机理,包括统计学模型、深度学习算法等等。也基于美国IBM、cloudera公司开发的应用型分析模块等等。

大数据销售公司

虽然说是卖数据,但出售的并不是单一数据,而是基于数据的全套解决方案,比如精准营销等等。

这三类公司是如何协作,并把大数据作用于我们的生活呢?最容易理解的就是现在在微信朋友圈上投放的广告。

腾讯在把广告推广给每个用户的时候,都已经对用户做过精准的分析。通过收集人们在微信上使用习惯,进而分析用户的消费能力、消费习惯,形成一套精准营销方案后,给广告商生成一些定向的广告。

比如说,兰蔻的广告就从来不会推广给男性用户、豪车广告也不会推给应届毕业生。整个的微信广告体系都用到了大数据的分析模式,大家普遍反馈,在腾讯上投放的广告比网易、新浪等平台上投放的广告转化率高,正是得益于腾讯的大数据基础。

大数据公司的投资价值

如何理解大数据的投资价值?

大数据如今这么火,其商业价值显而易见,但是能真正兑现的人并不多。

要兑现大数据的商业价值,第一个要求,就是达到大数据的数据量级。那么目前,在数据量上最有优势是BAT三家。在PC时代,百度在数据上的优势非常强,但到移动时代,腾讯和阿里实现了反超。

腾讯有微信、QQ,拿到了移动端数据生成量的九成;阿里利用它的消费数据资源,更有垂直性。那么对于中小企业、创业企业而言,兑现商业价值的重点就变成了,如何在自身规模较小的时候,利用别人的大数据资源为自己的创业更好的服务。这是需要深层次判断和挖掘的。

所以,对于数据相关的公司,在投资判断的时候,不单是看现有业务的发展,更重要的是在他不断的发展的过程中,能不能积累有效数据、积累高准确性的数据,实现数据的实时更新性。这样的企业才能够更好地建立起竞争壁垒。

比如,在开发者服务领域,比如talkingdata极光等等,我们复星昆仲在看项目时非常看重的一点,就是现在项目所经营的业务是单一为开发者提供服务?还是在服务之余,给自己的积累有效数据,形成长期壁垒?

2B是大数据行业的突破口

我之前有提到BAT对大数据收集是垄断性的,创业企业想要在C端达到海量数据(千万级甚至上亿的C端用户)非常难。目前,国内月活真正过亿的app只有15个,渗透率前10的app都是BAT所控制的,比如微信、QQ、淘宝、UC浏览器等。如果绕开BAT,能拥有C端海量数据的,就只有相对传统的电信业、金融业等等。

可见,如果想投资大数据领域的公司,从C端下手难度很高。所以,我觉得在如果想在大数据行业布局,2B领域才是关键:一方面2B发展较晚,BAT还没有形成垄断;第二,开发门槛相对较高的;第三,数据量需求量相对较少,达到十万级别就可以为大数据的分析服务,所以如果想在大数据领域进行投资,要关注的主要领域是2B领域。

在2B领域,有三个不同的类别:

第一类,是B2B交易平台;目前的趋势,基本上是行业垂直领域的电子商务交易平台,核心竞争力就是打破买卖双方的信息不对称、不透明。所以这种领域公司的关键点并不是记录交易量,而是每一个有效的数据信息。在这个领域,我们投资过惠民网,主要服务于中小商超和其供货商的交易平台,再比如各种“找”系列项目等等。

第二类,是现在很火的企业服务,以SaaS为主;比如客户管理的CRM、人力板块的HRM等等。他们在得到用户许可并保证数据安全的前提下,通过服务大量的企业来积累企业用户,和企业员工数据。比如理才网等等。

第三类,是针对于开发者的服务;云存储、运行数据的统计推送以及app内的即时通信等。

复星昆仲主要是在这三类的2B项目当中的进行投资,因为这些项目的2B业务模式可以有效积累大数据。这就是为什么复星同时关注大数据和2B领域的企业服务——因为在2B领域的企业服务,能够找到最好最有效的大数据。

2B行业的未来投资标的

如果我们预测一下这个行业的未来,我有以下几个观点。

拥有丰富大数据源的企业,会成为整个行业内最炙手可热的投资标的。

在大数据行业里,分析算法上的差别,造成的分析结果准确性、实用性的差异是93分和95分的区别。而因数据源质量造成的差别,是60分和90分的不同。特别是,一个不断更新的大数据,是能够验证这个算法准确性并不断优化大数据分析结果的有效途径。

先行绑定最急需数据的需求方的项目,将获得胜利。

目前,在大数据领域最愿意买单的基本都是金融领域的客户,银行、保险公司等等。他们要对用户进行多方位的分析和服务,所以购买意愿非常强。下一层,是新兴的互联网公司,为了更精准的获取用户、提高转化率,也比较愿意买单,比如说像新美大等等。下一步,可能会过渡到消费品行业当中去。

基于大数据的那些商机

智能硬件和人工智能的收获期还很漫长

大数据和智能硬件相结合的模式,其实目前还很有挑战性,最主要的原因还是出在大数据的数量级上。目前智能硬件的出货量远不能匹配大数据所需的数量级。目前,国内出货量最大的是小米手环,第二是360儿童卫士。剩下的智能硬件出货量,往往在十几万到几十万就是比较好的量级。这跟C端大数据千万、亿级的要求还相差百倍呢。

人工智能领域相对好一些,属于如日方升的情况。在海外的谷歌、亚马逊、软银,已经在投资一些投资标的,但是依然是一些概念领域的项目,不是立即可以商业化的服务。包括谷歌的无人车,就算已经能够积累了上百万英里的安全驾驶里程,但要应用还是有一定过程。国内也有少数的天使、早期机构,已经看好这个领域开始投资,但它的开花结果期那可能还要至少再等五年。

所以,这个领域的投资要有一定耐心,目前比较有希望兑现的领域,包括语音语义识别、AR/VR、无人机等。

SaaS类项目凭什么火?

很多人其实不明白SaaS模式和传统的软件服务到底有什么区别,为什么说它是一个基于大数据而兴起的行业呢?

SaaS和传统软件服务,中间有非常多的区别。最基础的区别,就是他们整个架构是不同的:SaaS是建立在公有云上的,标准化的模块服务,数据也储存在SaaS的公有云平台上。而传统的软件服务基本上是部署在局域网内的。这种架构上的区别决定所有的其他区别。

比如,因为SaaS架构在云端,而且秉承标准化、普适化原则,所以,实施过程非常快。至少,实施前的现场搭建工作要少很多,那么获取用户也相应的加快。能传统模式要很长时间才能累计几百个客户,而SaaS模式可以在短时间内累积上千、上万的客户都不难。

再比如,付费模式上的不同,传统软件有前期实施费、每年更新的费用、专门的定制服务费用、故障解决费用等等。整体来讲,费用高、缴费繁复,往往只有大企业才消费的起。而SaaS一方面减少了初期部署成本、且系统和架构可以服务于多个用户。它的收费模式基本上,是收月费或者年费,一个月只有几百块,很多中小企业,都可以享受到服务。

Q&A环节

Q:小散参与大数据、AI的SaaS的投资是否可行呢?

A:我觉得,目前小散想要参与这一领域投资的唯一途径,可能就是通过股权众筹。这些项目的行业门槛决定了,小散要想投这类项目最好还是通过专业性的众筹平台。

具体而言,原因有几个方面:

项目的门槛高。我们小散接触项目往往是通过自己的朋友圈子,但这类项目的创业者基本都是专业人员,我们的小散是接触不到的。

这类项目对创始人的专业经验要求高,小散难以进行这种专业性的项目尽调。而专业的众筹平台,在把项目推广给各位于中小投资人之前,就已经对项目做过背景调查。实现对于小散投资实现一个保护。

总而言之,这类项目行业门槛高,专业性要求高,小散想投资一定要找天使客这样负责任的众筹平台

Q:大家都说我们现在处于互联网时代,您强调我们现在是数据信息时代。这怎么理解?

A:我们现在就已经处在大数据信息时代,大数据和互联网移动互联网是不相冲突的,而且恰恰是互联网,特别是移动互联网的出现,使得可以有效采集的大数据大大提升,所以大数据时代是和移动互联网手挽手一起走过来的。

什么是大数据,究竟多大的数据才能称之为大数据,你知道了吗,如果想要学习大数据技术,那就努力吧,在未来的路上,懂得分析数据,你才能掌握未来!

这篇关于究竟多大才算是大数据,大数据怎么学习?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/409792

相关文章

Linux下利用select实现串口数据读取过程

《Linux下利用select实现串口数据读取过程》文章介绍Linux中使用select、poll或epoll实现串口数据读取,通过I/O多路复用机制在数据到达时触发读取,避免持续轮询,示例代码展示设... 目录示例代码(使用select实现)代码解释总结在 linux 系统里,我们可以借助 select、

C#使用iText获取PDF的trailer数据的代码示例

《C#使用iText获取PDF的trailer数据的代码示例》开发程序debug的时候,看到了PDF有个trailer数据,挺有意思,于是考虑用代码把它读出来,那么就用到我们常用的iText框架了,所... 目录引言iText 核心概念C# 代码示例步骤 1: 确保已安装 iText步骤 2: C# 代码程

Pandas处理缺失数据的方式汇总

《Pandas处理缺失数据的方式汇总》许多教程中的数据与现实世界中的数据有很大不同,现实世界中的数据很少是干净且同质的,本文我们将讨论处理缺失数据的一些常规注意事项,了解Pandas如何表示缺失数据,... 目录缺失数据约定的权衡Pandas 中的缺失数据None 作为哨兵值NaN:缺失的数值数据Panda

C++中处理文本数据char与string的终极对比指南

《C++中处理文本数据char与string的终极对比指南》在C++编程中char和string是两种用于处理字符数据的类型,但它们在使用方式和功能上有显著的不同,:本文主要介绍C++中处理文本数... 目录1. 基本定义与本质2. 内存管理3. 操作与功能4. 性能特点5. 使用场景6. 相互转换核心区别

python库pydantic数据验证和设置管理库的用途

《python库pydantic数据验证和设置管理库的用途》pydantic是一个用于数据验证和设置管理的Python库,它主要利用Python类型注解来定义数据模型的结构和验证规则,本文给大家介绍p... 目录主要特点和用途:Field数值验证参数总结pydantic 是一个让你能够 confidentl

JAVA实现亿级千万级数据顺序导出的示例代码

《JAVA实现亿级千万级数据顺序导出的示例代码》本文主要介绍了JAVA实现亿级千万级数据顺序导出的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 前提:主要考虑控制内存占用空间,避免出现同时导出,导致主程序OOM问题。实现思路:A.启用线程池

SpringBoot分段处理List集合多线程批量插入数据方式

《SpringBoot分段处理List集合多线程批量插入数据方式》文章介绍如何处理大数据量List批量插入数据库的优化方案:通过拆分List并分配独立线程处理,结合Spring线程池与异步方法提升效率... 目录项目场景解决方案1.实体类2.Mapper3.spring容器注入线程池bejsan对象4.创建

PHP轻松处理千万行数据的方法详解

《PHP轻松处理千万行数据的方法详解》说到处理大数据集,PHP通常不是第一个想到的语言,但如果你曾经需要处理数百万行数据而不让服务器崩溃或内存耗尽,你就会知道PHP用对了工具有多强大,下面小编就... 目录问题的本质php 中的数据流处理:为什么必不可少生成器:内存高效的迭代方式流量控制:避免系统过载一次性

C#实现千万数据秒级导入的代码

《C#实现千万数据秒级导入的代码》在实际开发中excel导入很常见,现代社会中很容易遇到大数据处理业务,所以本文我就给大家分享一下千万数据秒级导入怎么实现,文中有详细的代码示例供大家参考,需要的朋友可... 目录前言一、数据存储二、处理逻辑优化前代码处理逻辑优化后的代码总结前言在实际开发中excel导入很

MyBatis-plus处理存储json数据过程

《MyBatis-plus处理存储json数据过程》文章介绍MyBatis-Plus3.4.21处理对象与集合的差异:对象可用内置Handler配合autoResultMap,集合需自定义处理器继承F... 目录1、如果是对象2、如果需要转换的是List集合总结对象和集合分两种情况处理,目前我用的MP的版本