Hadoop是大数据应用落地难的罪魁祸首?

2024-04-25 13:18

本文主要是介绍Hadoop是大数据应用落地难的罪魁祸首?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

为什么大数据应用落地难?很大一部分原因在于Hadoop,用户对于开源总有兴趣亲自尝试一下。但无论Map Reduce,还是YARN都不是那么简单易用,数据建模就像一座山,横亘在用户的前面,让应用不容易落地。

大数据落地难,业内对此广有共识。“我们在全球有7900家用户,在亚太有1000家以上的用户,在中国有150家用户,这些用户的应用都是落地的。” Splunk 中国区销售总监侯海龙说。

为什么大数据应用落地难?

很大一部分原因在于Hadoop,用户对于开源总有兴趣亲自尝试一下。但无论Map/Reduce,还是YARN都不是那么简单易用,数据建模就像一座山,横亘在用户的前面,让应用不容易落地。对于互联网企业,由于人才上的优势,尚有能力克服困难,但对于行业/企业等商用用户来说,技术上的瓶颈不是那么容易跨越的。

Splunk北亚区经理麦永光指出,很多行业/企业用户对于大数据非常重视,他们会首先成立一个大数据的部门,研究大数据应用。他表示,在这种情况下,应用常常难以落地。Splunk大数据的角度有所不同,不是从大数据入手,而是从用户面临的问题着手,用Splunk大数据的方式解决问题。

“国内对大数据的认识,还是停留在数据大的初级阶段。” 侯海龙说。

根据介绍,大数据应用和数据从哪里来、数据大小、格式等没有太多的关心。大数据的重点应该集中在给需要数据的人,提供重要的可见度,快速找到答案。在过去的30年,人们一直使用关系型数据库,采用SQL进行检索和查找;但随着大数据应用的模式,新的分布式数据库的数据组织模式替代了关系型数据库,搜索引擎技术取代了SQL,从而让数据分析和使用的能力有了非常大的进步。

 

数据分析走出关系型数据库阶段

通过对机器大数据地分析,人们可以迅速定位故障,从而减少MTTR(Mean Time To Restoration, 平均恢复前时间)时间;提高系统的在线时间和能力;整合工具;通过数据分析驱动创新,同时也可以使用数据服务商业用户。通过机器大数据分析,可以增强用户对于业务的实时洞察力,从而让系统管理从被动走向主动应对。

 

大数据应用给我们带来了什么

据了解,Splunk提供了专业的数据存储和处理方式,通过检索手段,用户就可以对数据之间的关联性进行挖掘和探索。用户不需要建模,也不需要关心Map/Reduce,检索让用户直接上手,查找数据,发觉数据背后所蕴藏的价值。

 

 

大数据分析让维护从被动到主动

大数据其实很简单,关键是要找到好的工具,运用工具挖掘数据的价值;价值在于数据,而不是工具本身。侯海龙表示,国内大数据应用急需走出初级应用阶段,需要走出对技术关注,将注意力集中在数据上,让数据产生价值。

 

 

看不懂的机器大数据潜藏价值

强力推荐阅读文章

大数据工程师必须了解的七大概念

云计算和大数据未来五大趋势

如何快速建立自己的大数据知识体系

 

这篇关于Hadoop是大数据应用落地难的罪魁祸首?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/934785

相关文章

CSS中的Static、Relative、Absolute、Fixed、Sticky的应用与详细对比

《CSS中的Static、Relative、Absolute、Fixed、Sticky的应用与详细对比》CSS中的position属性用于控制元素的定位方式,不同的定位方式会影响元素在页面中的布... css 中的 position 属性用于控制元素的定位方式,不同的定位方式会影响元素在页面中的布局和层叠关

SpringBoot3应用中集成和使用Spring Retry的实践记录

《SpringBoot3应用中集成和使用SpringRetry的实践记录》SpringRetry为SpringBoot3提供重试机制,支持注解和编程式两种方式,可配置重试策略与监听器,适用于临时性故... 目录1. 简介2. 环境准备3. 使用方式3.1 注解方式 基础使用自定义重试策略失败恢复机制注意事项

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,:本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式(断开连接)2.2 修改数据库名称2.3 查找逻辑文件名

canal实现mysql数据同步的详细过程

《canal实现mysql数据同步的详细过程》:本文主要介绍canal实现mysql数据同步的详细过程,本文通过实例图文相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的... 目录1、canal下载2、mysql同步用户创建和授权3、canal admin安装和启动4、canal

使用SpringBoot整合Sharding Sphere实现数据脱敏的示例

《使用SpringBoot整合ShardingSphere实现数据脱敏的示例》ApacheShardingSphere数据脱敏模块,通过SQL拦截与改写实现敏感信息加密存储,解决手动处理繁琐及系统改... 目录痛点一:痛点二:脱敏配置Quick Start——Spring 显示配置:1.引入依赖2.创建脱敏

详解如何使用Python构建从数据到文档的自动化工作流

《详解如何使用Python构建从数据到文档的自动化工作流》这篇文章将通过真实工作场景拆解,为大家展示如何用Python构建自动化工作流,让工具代替人力完成这些数字苦力活,感兴趣的小伙伴可以跟随小编一起... 目录一、Excel处理:从数据搬运工到智能分析师二、PDF处理:文档工厂的智能生产线三、邮件自动化:

Python数据分析与可视化的全面指南(从数据清洗到图表呈现)

《Python数据分析与可视化的全面指南(从数据清洗到图表呈现)》Python是数据分析与可视化领域中最受欢迎的编程语言之一,凭借其丰富的库和工具,Python能够帮助我们快速处理、分析数据并生成高质... 目录一、数据采集与初步探索二、数据清洗的七种武器1. 缺失值处理策略2. 异常值检测与修正3. 数据

Python使用Tkinter打造一个完整的桌面应用

《Python使用Tkinter打造一个完整的桌面应用》在Python生态中,Tkinter就像一把瑞士军刀,它没有花哨的特效,却能快速搭建出实用的图形界面,作为Python自带的标准库,无需安装即可... 目录一、界面搭建:像搭积木一样组合控件二、菜单系统:给应用装上“控制中枢”三、事件驱动:让界面“活”

pandas实现数据concat拼接的示例代码

《pandas实现数据concat拼接的示例代码》pandas.concat用于合并DataFrame或Series,本文主要介绍了pandas实现数据concat拼接的示例代码,具有一定的参考价值,... 目录语法示例:使用pandas.concat合并数据默认的concat:参数axis=0,join=

C#代码实现解析WTGPS和BD数据

《C#代码实现解析WTGPS和BD数据》在现代的导航与定位应用中,准确解析GPS和北斗(BD)等卫星定位数据至关重要,本文将使用C#语言实现解析WTGPS和BD数据,需要的可以了解下... 目录一、代码结构概览1. 核心解析方法2. 位置信息解析3. 经纬度转换方法4. 日期和时间戳解析5. 辅助方法二、L