大数据的理解,大数据是什么,大数据能干什么?

2024-06-07 19:08
文章标签 数据 理解 干什么

本文主要是介绍大数据的理解,大数据是什么,大数据能干什么?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、概念: · 一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。 大数据的本质就是一大堆结构化的和非结构化的数据。因为数据量太大,你没办法使用,你需要从中抓取出有价值的内容或你想要的数据,这就是大数据应用。 老程序都知道,我们做企业级的项目(数据库项目)时,都会有数据的存储,而且会做出很多图表,为决策者进行科学地决策提供了客观依据,为每个工作者从数据中发现问题,做进一步改进提供了依据,当然也有即时变动的数据展示位动态图表。 1)、超市管理系统,也会把每年的数据进行汇总,对比每个月的销量,以了解淡旺季,帮助做下一步的应对策略;把不同类型的商品进行汇总,对比哪个商品卖得多,哪个商品收益高;哪个商品在哪个时间段卖得快等等。当然,如果有会员的话,甚至可以统计出不同年龄段,不同性别的不同喜好等等。 2)、石油行业的进销存系统,会统计哪个加油站的销量好,哪种型号的销量好。 3)、在HIS(医院信息管理)系统里,会统计哪个科室的患者多,哪个医生的挂号量大,哪个医疗设备的使用频度高,哪个病种多,甚至哪个年龄段得哪种类型病的数量多,甚至哪个地区的人患哪种病的概率高。在很多研究型医院里,还可以通过大量数据得出什么类型的细菌是导致某种病的主因等等。 随着时间的推移,数据的积累,随着社会节奏的变化,使用信息化系统的人越来越多,数据积累的速度越来越快,数据也越来越庞大。当规模大到在获取数据,存储数据,管理数据,分析数据方面大大超过了传统数据库软件工具能力范围的数据集合,并且数据的价值越来越大,针对数据的处理就需要专门的企业或者人员来完成,这就是现在大数据(当然,大数据的内涵远远不是这一两句话能够说清楚的)。 你可以简单理解为:以前那是小数据,现在是大数据,哈哈! 从技术层面说,大数据和以前的数据时代("小数据")的最大差异在于: 以前是数据找应用、算法的过程,偏重于用抽样推测全局,从抽样数据中分析,没有采集到的样本所对应的相关规律。 而大数据时代的重要技术特征之一,是应用、算法去找数据的过程,因为数据规模变成了技术上最大的挑战,我们更关注每一个个体的微观表现 二、应用场景举例: 应用场景能够体现出大数据的价值 我的博客中也有一些关于大数据应用场景的故事: https://blog.csdn.net/jiang7701037/article/details/81041692 1)、超市管理系统: 除了传统的数据汇总对比外,现在还需要对数据做进一步的挖掘,如:根据大量的数据能够的得出 (啤酒与尿布的故事)买了某种商品的人同时还会买另外一种商品,这样超市就会尽量把这两种商品的摆放位置靠近,以方便客户进行购买(这是为了商场商品摆放提供了依据) 电子商务平台上更是对数据的汇总更加有说服力,比如:淘宝,这个平台“太可怕”了,他可以统计出南北方地区不同省份人群的特点,比如:不同省份人员的网购量,哪个性别,哪个年龄段购买最多,甚至根据衣服的尺码都知道哪个省份人员的身高情况,那个人省份人员喜欢什么颜色的衣服,噢,还有内衣,根据内衣,你都知道哪个省份女性的罩杯大小…… 你在京东买了奶瓶又搜索过奶粉,那京东的大数据就预测到你可能有小宝宝了,接下来一大堆和婴儿有关的东西都推荐给你。你可能说这就是大数据啊,也太简单了。其实如果京东仅服务你一个人,那简单,但是京东对几亿用户(大数据)都能做这个推广,就不简单。 这是商业公司对消费者日常的购买行为和使用商品习惯进行汇总和分析,了解到消费者的需求,从而改进已有商品并适时推出新的、消费者很可能会满意的商品的体现 2)、石油行业的进销存系统,著名的“魔镜”预知石油市场走向,“魔镜”帮助中石等企业分析数据,将数据可视化,使企业科学的判断、决策,节约成本,合理配置资源,提高了收益。 3)、在HIS(医院信息管理)系统里特别是医学研究上。 大数据改变医学诊断手段 大数据分析为许多医学难题的解决提供了新途径,改变了一些疾病诊断方式。大数据可以挖掘出大量以往的相似疾病案例,通过分析这些诊断数据,对疑难杂症进行快速判别。如,在心脏病的诊断过程中,首先采集心脏数据并转化为心脏图谱,然后根据图谱进行建模,模型中的变量包括压力、张力、僵硬度等,最后根据这个模型分析心脏疾病病情,并作出相应的诊疗方案。此外,还可以利用图像处理技术,将心脏数据建模成为一个虚拟实体,通过设置不同的参数,模拟观察各类手术或者药物对心脏机能造成的影响,从而在诊疗之前就对诊疗后心脏疾病可能的走势做出预测,为获取疾病诊治方法提供了手段。 大数据可预测病情的扩散趋势 当流行病发生时,可以对疾病已有的扩散趋势和感染人数进行建模,对每一个时间节点的数据进行分析处理,从而对流行病进行统计研究,预测病情的扩散趋势,为疾病防治提供参考。同时,当下一次疫情发生时,可以调出往年数据进行分析,了解规律,从而有望抑制病情的进一步扩张。 …… 疾病预防、临床应用、互联网医疗等等 4)、做搜索引擎的百度和谷歌更是可怕,他保存着所有互联网用户搜索的关键词。用户搜索的关键词就代表着他所关心的话题,如:最近搜索it的培训的比较多,说明了什么,最近搜索web前端培训的比较多说明了什么,最近搜索如何预防流感,得了流感怎么办,怎么才能知道自己得了流感等等,这说明了流感的季节到来,担心的流感的人很多,还有可能得到的流感的人数占比和速度…… 5)、交通: 实时路况给人们出行选择带来的方便。交通拥堵的原因分析,并结合车辆购买的增长情况,决定修路的节奏把握(如:什么路段需要修路,什么路段需要优先修路,要不要单行等等),根据大数据的全样本体现的高峰期更有说服力,并制定一系列的对策等等。 三、大数据能做什么? 预测,决策,为机器学习和人工智能提供支撑 预测从古代就做了,但是大数据做预测的核心是全样本,多个维度的全样本,交叉确认,人会说谎,在社交场合会隐藏部分内心,但这部分内心在日积月累的互联网上总有丝竹马迹会留下来,所以,越来越多的数据模型和数据会给出无限接近感知的结果。也就是可以让计算机具有学习能力,机器学习就是设计一个一些让计算机可以自动学习的算法,人工智能的核心是什么?归根到底是“计算机用大数据在代替人脑来思考;计算机可能比人脑思考的更全面和迅速 当然大数据的应用,不是一篇文章,简单举个例子就能说明白的,现在是数据为王的时代,我们现在才真正开始体会“数据最有说服力"的魅力所在,我认为,数据的作用待开发的地方太多了,数据的作用,未来不可限量,没法预测,也不敢预测,只能期待。我想未来大量的数据真的是一件“可怕”的事情,人类还需要把这些数据应用在生产上,否则,会带来灾难性的结果。 --------------------- 本文来自 田江 的CSDN 博客 ,全文地址请点击:https://blog.csdn.net/jiang7701037/article/details/81042454?utm_source=copy

这篇关于大数据的理解,大数据是什么,大数据能干什么?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1040044

相关文章

深入理解Mysql OnlineDDL的算法

《深入理解MysqlOnlineDDL的算法》本文主要介绍了讲解MysqlOnlineDDL的算法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小... 目录一、Online DDL 是什么?二、Online DDL 的三种主要算法2.1COPY(复制法)

Linux下利用select实现串口数据读取过程

《Linux下利用select实现串口数据读取过程》文章介绍Linux中使用select、poll或epoll实现串口数据读取,通过I/O多路复用机制在数据到达时触发读取,避免持续轮询,示例代码展示设... 目录示例代码(使用select实现)代码解释总结在 linux 系统里,我们可以借助 select、

C#使用iText获取PDF的trailer数据的代码示例

《C#使用iText获取PDF的trailer数据的代码示例》开发程序debug的时候,看到了PDF有个trailer数据,挺有意思,于是考虑用代码把它读出来,那么就用到我们常用的iText框架了,所... 目录引言iText 核心概念C# 代码示例步骤 1: 确保已安装 iText步骤 2: C# 代码程

Pandas处理缺失数据的方式汇总

《Pandas处理缺失数据的方式汇总》许多教程中的数据与现实世界中的数据有很大不同,现实世界中的数据很少是干净且同质的,本文我们将讨论处理缺失数据的一些常规注意事项,了解Pandas如何表示缺失数据,... 目录缺失数据约定的权衡Pandas 中的缺失数据None 作为哨兵值NaN:缺失的数值数据Panda

C++中处理文本数据char与string的终极对比指南

《C++中处理文本数据char与string的终极对比指南》在C++编程中char和string是两种用于处理字符数据的类型,但它们在使用方式和功能上有显著的不同,:本文主要介绍C++中处理文本数... 目录1. 基本定义与本质2. 内存管理3. 操作与功能4. 性能特点5. 使用场景6. 相互转换核心区别

python库pydantic数据验证和设置管理库的用途

《python库pydantic数据验证和设置管理库的用途》pydantic是一个用于数据验证和设置管理的Python库,它主要利用Python类型注解来定义数据模型的结构和验证规则,本文给大家介绍p... 目录主要特点和用途:Field数值验证参数总结pydantic 是一个让你能够 confidentl

JAVA实现亿级千万级数据顺序导出的示例代码

《JAVA实现亿级千万级数据顺序导出的示例代码》本文主要介绍了JAVA实现亿级千万级数据顺序导出的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 前提:主要考虑控制内存占用空间,避免出现同时导出,导致主程序OOM问题。实现思路:A.启用线程池

SpringBoot分段处理List集合多线程批量插入数据方式

《SpringBoot分段处理List集合多线程批量插入数据方式》文章介绍如何处理大数据量List批量插入数据库的优化方案:通过拆分List并分配独立线程处理,结合Spring线程池与异步方法提升效率... 目录项目场景解决方案1.实体类2.Mapper3.spring容器注入线程池bejsan对象4.创建

PHP轻松处理千万行数据的方法详解

《PHP轻松处理千万行数据的方法详解》说到处理大数据集,PHP通常不是第一个想到的语言,但如果你曾经需要处理数百万行数据而不让服务器崩溃或内存耗尽,你就会知道PHP用对了工具有多强大,下面小编就... 目录问题的本质php 中的数据流处理:为什么必不可少生成器:内存高效的迭代方式流量控制:避免系统过载一次性

C#实现千万数据秒级导入的代码

《C#实现千万数据秒级导入的代码》在实际开发中excel导入很常见,现代社会中很容易遇到大数据处理业务,所以本文我就给大家分享一下千万数据秒级导入怎么实现,文中有详细的代码示例供大家参考,需要的朋友可... 目录前言一、数据存储二、处理逻辑优化前代码处理逻辑优化后的代码总结前言在实际开发中excel导入很