大数据的理解,大数据是什么,大数据能干什么?

2024-06-07 19:08
文章标签 数据 理解 干什么

本文主要是介绍大数据的理解,大数据是什么,大数据能干什么?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、概念: · 一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。 大数据的本质就是一大堆结构化的和非结构化的数据。因为数据量太大,你没办法使用,你需要从中抓取出有价值的内容或你想要的数据,这就是大数据应用。 老程序都知道,我们做企业级的项目(数据库项目)时,都会有数据的存储,而且会做出很多图表,为决策者进行科学地决策提供了客观依据,为每个工作者从数据中发现问题,做进一步改进提供了依据,当然也有即时变动的数据展示位动态图表。 1)、超市管理系统,也会把每年的数据进行汇总,对比每个月的销量,以了解淡旺季,帮助做下一步的应对策略;把不同类型的商品进行汇总,对比哪个商品卖得多,哪个商品收益高;哪个商品在哪个时间段卖得快等等。当然,如果有会员的话,甚至可以统计出不同年龄段,不同性别的不同喜好等等。 2)、石油行业的进销存系统,会统计哪个加油站的销量好,哪种型号的销量好。 3)、在HIS(医院信息管理)系统里,会统计哪个科室的患者多,哪个医生的挂号量大,哪个医疗设备的使用频度高,哪个病种多,甚至哪个年龄段得哪种类型病的数量多,甚至哪个地区的人患哪种病的概率高。在很多研究型医院里,还可以通过大量数据得出什么类型的细菌是导致某种病的主因等等。 随着时间的推移,数据的积累,随着社会节奏的变化,使用信息化系统的人越来越多,数据积累的速度越来越快,数据也越来越庞大。当规模大到在获取数据,存储数据,管理数据,分析数据方面大大超过了传统数据库软件工具能力范围的数据集合,并且数据的价值越来越大,针对数据的处理就需要专门的企业或者人员来完成,这就是现在大数据(当然,大数据的内涵远远不是这一两句话能够说清楚的)。 你可以简单理解为:以前那是小数据,现在是大数据,哈哈! 从技术层面说,大数据和以前的数据时代("小数据")的最大差异在于: 以前是数据找应用、算法的过程,偏重于用抽样推测全局,从抽样数据中分析,没有采集到的样本所对应的相关规律。 而大数据时代的重要技术特征之一,是应用、算法去找数据的过程,因为数据规模变成了技术上最大的挑战,我们更关注每一个个体的微观表现 二、应用场景举例: 应用场景能够体现出大数据的价值 我的博客中也有一些关于大数据应用场景的故事: https://blog.csdn.net/jiang7701037/article/details/81041692 1)、超市管理系统: 除了传统的数据汇总对比外,现在还需要对数据做进一步的挖掘,如:根据大量的数据能够的得出 (啤酒与尿布的故事)买了某种商品的人同时还会买另外一种商品,这样超市就会尽量把这两种商品的摆放位置靠近,以方便客户进行购买(这是为了商场商品摆放提供了依据) 电子商务平台上更是对数据的汇总更加有说服力,比如:淘宝,这个平台“太可怕”了,他可以统计出南北方地区不同省份人群的特点,比如:不同省份人员的网购量,哪个性别,哪个年龄段购买最多,甚至根据衣服的尺码都知道哪个省份人员的身高情况,那个人省份人员喜欢什么颜色的衣服,噢,还有内衣,根据内衣,你都知道哪个省份女性的罩杯大小…… 你在京东买了奶瓶又搜索过奶粉,那京东的大数据就预测到你可能有小宝宝了,接下来一大堆和婴儿有关的东西都推荐给你。你可能说这就是大数据啊,也太简单了。其实如果京东仅服务你一个人,那简单,但是京东对几亿用户(大数据)都能做这个推广,就不简单。 这是商业公司对消费者日常的购买行为和使用商品习惯进行汇总和分析,了解到消费者的需求,从而改进已有商品并适时推出新的、消费者很可能会满意的商品的体现 2)、石油行业的进销存系统,著名的“魔镜”预知石油市场走向,“魔镜”帮助中石等企业分析数据,将数据可视化,使企业科学的判断、决策,节约成本,合理配置资源,提高了收益。 3)、在HIS(医院信息管理)系统里特别是医学研究上。 大数据改变医学诊断手段 大数据分析为许多医学难题的解决提供了新途径,改变了一些疾病诊断方式。大数据可以挖掘出大量以往的相似疾病案例,通过分析这些诊断数据,对疑难杂症进行快速判别。如,在心脏病的诊断过程中,首先采集心脏数据并转化为心脏图谱,然后根据图谱进行建模,模型中的变量包括压力、张力、僵硬度等,最后根据这个模型分析心脏疾病病情,并作出相应的诊疗方案。此外,还可以利用图像处理技术,将心脏数据建模成为一个虚拟实体,通过设置不同的参数,模拟观察各类手术或者药物对心脏机能造成的影响,从而在诊疗之前就对诊疗后心脏疾病可能的走势做出预测,为获取疾病诊治方法提供了手段。 大数据可预测病情的扩散趋势 当流行病发生时,可以对疾病已有的扩散趋势和感染人数进行建模,对每一个时间节点的数据进行分析处理,从而对流行病进行统计研究,预测病情的扩散趋势,为疾病防治提供参考。同时,当下一次疫情发生时,可以调出往年数据进行分析,了解规律,从而有望抑制病情的进一步扩张。 …… 疾病预防、临床应用、互联网医疗等等 4)、做搜索引擎的百度和谷歌更是可怕,他保存着所有互联网用户搜索的关键词。用户搜索的关键词就代表着他所关心的话题,如:最近搜索it的培训的比较多,说明了什么,最近搜索web前端培训的比较多说明了什么,最近搜索如何预防流感,得了流感怎么办,怎么才能知道自己得了流感等等,这说明了流感的季节到来,担心的流感的人很多,还有可能得到的流感的人数占比和速度…… 5)、交通: 实时路况给人们出行选择带来的方便。交通拥堵的原因分析,并结合车辆购买的增长情况,决定修路的节奏把握(如:什么路段需要修路,什么路段需要优先修路,要不要单行等等),根据大数据的全样本体现的高峰期更有说服力,并制定一系列的对策等等。 三、大数据能做什么? 预测,决策,为机器学习和人工智能提供支撑 预测从古代就做了,但是大数据做预测的核心是全样本,多个维度的全样本,交叉确认,人会说谎,在社交场合会隐藏部分内心,但这部分内心在日积月累的互联网上总有丝竹马迹会留下来,所以,越来越多的数据模型和数据会给出无限接近感知的结果。也就是可以让计算机具有学习能力,机器学习就是设计一个一些让计算机可以自动学习的算法,人工智能的核心是什么?归根到底是“计算机用大数据在代替人脑来思考;计算机可能比人脑思考的更全面和迅速 当然大数据的应用,不是一篇文章,简单举个例子就能说明白的,现在是数据为王的时代,我们现在才真正开始体会“数据最有说服力"的魅力所在,我认为,数据的作用待开发的地方太多了,数据的作用,未来不可限量,没法预测,也不敢预测,只能期待。我想未来大量的数据真的是一件“可怕”的事情,人类还需要把这些数据应用在生产上,否则,会带来灾难性的结果。 --------------------- 本文来自 田江 的CSDN 博客 ,全文地址请点击:https://blog.csdn.net/jiang7701037/article/details/81042454?utm_source=copy

这篇关于大数据的理解,大数据是什么,大数据能干什么?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1040044

相关文章

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3

C#监听txt文档获取新数据方式

《C#监听txt文档获取新数据方式》文章介绍通过监听txt文件获取最新数据,并实现开机自启动、禁用窗口关闭按钮、阻止Ctrl+C中断及防止程序退出等功能,代码整合于主函数中,供参考学习... 目录前言一、监听txt文档增加数据二、其他功能1. 设置开机自启动2. 禁止控制台窗口关闭按钮3. 阻止Ctrl +

java如何实现高并发场景下三级缓存的数据一致性

《java如何实现高并发场景下三级缓存的数据一致性》这篇文章主要为大家详细介绍了java如何实现高并发场景下三级缓存的数据一致性,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 下面代码是一个使用Java和Redisson实现的三级缓存服务,主要功能包括:1.缓存结构:本地缓存:使

Java Spring的依赖注入理解及@Autowired用法示例详解

《JavaSpring的依赖注入理解及@Autowired用法示例详解》文章介绍了Spring依赖注入(DI)的概念、三种实现方式(构造器、Setter、字段注入),区分了@Autowired(注入... 目录一、什么是依赖注入(DI)?1. 定义2. 举个例子二、依赖注入的几种方式1. 构造器注入(Con

在MySQL中实现冷热数据分离的方法及使用场景底层原理解析

《在MySQL中实现冷热数据分离的方法及使用场景底层原理解析》MySQL冷热数据分离通过分表/分区策略、数据归档和索引优化,将频繁访问的热数据与冷数据分开存储,提升查询效率并降低存储成本,适用于高并发... 目录实现冷热数据分离1. 分表策略2. 使用分区表3. 数据归档与迁移在mysql中实现冷热数据分

C#解析JSON数据全攻略指南

《C#解析JSON数据全攻略指南》这篇文章主要为大家详细介绍了使用C#解析JSON数据全攻略指南,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、为什么jsON是C#开发必修课?二、四步搞定网络JSON数据1. 获取数据 - HttpClient最佳实践2. 动态解析 - 快速

MyBatis-Plus通用中等、大量数据分批查询和处理方法

《MyBatis-Plus通用中等、大量数据分批查询和处理方法》文章介绍MyBatis-Plus分页查询处理,通过函数式接口与Lambda表达式实现通用逻辑,方法抽象但功能强大,建议扩展分批处理及流式... 目录函数式接口获取分页数据接口数据处理接口通用逻辑工具类使用方法简单查询自定义查询方法总结函数式接口

深入理解Go语言中二维切片的使用

《深入理解Go语言中二维切片的使用》本文深入讲解了Go语言中二维切片的概念与应用,用于表示矩阵、表格等二维数据结构,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习吧... 目录引言二维切片的基本概念定义创建二维切片二维切片的操作访问元素修改元素遍历二维切片二维切片的动态调整追加行动态

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I