云计算时代:当大数据遇到敏捷

2024-01-23 05:58

本文主要是介绍云计算时代:当大数据遇到敏捷,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!


http://cloud.csdn.net/a/20111010/305493.html

今年九月在纽约的O’Reilly媒体会议上大数据技术有两大呼声:企业级和敏捷。我们知道企业级的商务智能产品有Oracle Hyperion、SAP BusinessObjects和IBM Cogonos,而敏捷产品有QlikView、Tableau和TIBCO Spotfire。

如果事实证明大数据必须购买企业级的产品,那么就意味着大数据会花大本钱。但这并非绝对,通过使用大数据敏捷技术,各种规模的企业都可以控制成本,从大数据中获益。至关重要的是尽可能降低成本并最大化的了解大数据集,一旦数据被转化为可用便具有对业务的洞察力,然后以各种方式将问题汇总,并发挥企业技术的优势解决问题。

企业级 VS 敏捷BI

首先让我们来看看BI世界里发生了什么。企业级BI设计的意图是为了满足大型企业中许多信息孤岛的要求。典型场景如下:信息孤岛中的数据通过ETL的过程被清洗和规范化,进入到数据仓库中,成为一个可用的版本。然后,通过报表和分析技术,数据被切片、切块,并交付给成千上万的人。企业级BI是一个复杂的过程,它通过多种应用程序的协同工作,以满足企业中成千上万人的需求。企业级BI的问题是它的配置需要花费很长时间,所有大型的复杂系统都十分难以配置和改动。

敏捷BI可以解决企业BI所面对的诸多问题。敏捷BI可以以高度互动的方式为最终用户排序、筛选和统计数据,而不需要BI专家的指导。企业采用敏捷BI技术,可以更广泛的享受数据所体现的价值。

企业级 VS 敏捷的大数据

现在是大数据技术出场的时候了,EMC Greenplum、Teradata Aster Data等是企业级的代表,而1010data、Pervasive DataRush等则是敏捷的代表。这两类厂商都意识到了企业级和敏捷在BI领域的鸿沟,并努力解决这个问题。企业级大数据供应商知道他们需要敏捷,而敏捷的大数据厂商知道他们需要提供高质量的企业级解决方案。

企业级大数据供应商推出了一些灵活性解决方案。Greenplum推出了一个名为Chorus的产品,以提供一个协作环境,支持数据分析和查找的过程。Aster提供了一系列SQL扩展,允许Hadoop类型的查询使用类似与SQL的语法。在实现敏捷方面,这些产品的扩展是很大的进步,但对Greenplum和Aster企业级技术所带来的高昂价格标签,人们更感兴趣的问题是:能否以敏捷的大数据技术弥补企业级技术的不足,以更少的投资获得更多的回报?

敏捷的大数据解决企业级平台的难题

回头看看我们所提到的三种敏捷的大数据技术,首先的问题是:它们为什么被称作是敏捷的?

答案其实很简单,它们可以让用户获取非凡的数据洞察力,并削减价格。如下:

只需经过些许培训,用户就可以使用Splunk进行数据的查询、筛选和显示

1010data以电子表格的形式为用户提供大数据的处理界面

Pervasive DataRush以图形界面并行、高效地处理数据

一个敏捷的大数据在大批量处理中的案例

David Inbar是Pervasive的市场发展战略办公室的首席执行官,在价格低廉的做了一个实验演示,处理了足够庞大的可称之为大数据的数据。

DataRush的工具包消除了程序员并行编程的复杂度。即便是科技狂人,相对编写一个单线程的程序,并行编程也无异于是火箭科学。DataRush为并行编程提供了一种编程模型,以替代艰难的多核函数编码。比如,你可以编写一个基于组件模型的工作流应用程序,该工具包会自动将其转化为该工作流所允许的并行应用程序。

大数据系统如Hadoop具有横向扩展性。虽然DataRush可以承担此类角色,并能在数千台计算机中安装,但是它的不同之处在于它一般在一台计算机中安装,用以发掘多核系统的潜能。

DataRush最有特色的功能是它并不需要你知道计算机究竟有多少个核,当编写一个DataRush应用程序时,它会自动感知计算机上核心的数目,并最大限度地利用,以进行并行处理。

将敏捷组件集合起来构建企业级系统

敏捷技术在针对大数据创建智能业务系统方面具有极大优势,但仍然有相当长的路要走。敏捷BI能够降低成本,面对大数据的挑战,它将证明它的价值。


这篇关于云计算时代:当大数据遇到敏捷的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/635424

相关文章

CSS Anchor Positioning重新定义锚点定位的时代来临(最新推荐)

《CSSAnchorPositioning重新定义锚点定位的时代来临(最新推荐)》CSSAnchorPositioning是一项仍在草案中的新特性,由Chrome125开始提供原生支持需... 目录 css Anchor Positioning:重新定义「锚定定位」的时代来了! 什么是 Anchor Pos

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,:本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式(断开连接)2.2 修改数据库名称2.3 查找逻辑文件名

Python并行处理实战之如何使用ProcessPoolExecutor加速计算

《Python并行处理实战之如何使用ProcessPoolExecutor加速计算》Python提供了多种并行处理的方式,其中concurrent.futures模块的ProcessPoolExecu... 目录简介完整代码示例代码解释1. 导入必要的模块2. 定义处理函数3. 主函数4. 生成数字列表5.

canal实现mysql数据同步的详细过程

《canal实现mysql数据同步的详细过程》:本文主要介绍canal实现mysql数据同步的详细过程,本文通过实例图文相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的... 目录1、canal下载2、mysql同步用户创建和授权3、canal admin安装和启动4、canal

使用SpringBoot整合Sharding Sphere实现数据脱敏的示例

《使用SpringBoot整合ShardingSphere实现数据脱敏的示例》ApacheShardingSphere数据脱敏模块,通过SQL拦截与改写实现敏感信息加密存储,解决手动处理繁琐及系统改... 目录痛点一:痛点二:脱敏配置Quick Start——Spring 显示配置:1.引入依赖2.创建脱敏

详解如何使用Python构建从数据到文档的自动化工作流

《详解如何使用Python构建从数据到文档的自动化工作流》这篇文章将通过真实工作场景拆解,为大家展示如何用Python构建自动化工作流,让工具代替人力完成这些数字苦力活,感兴趣的小伙伴可以跟随小编一起... 目录一、Excel处理:从数据搬运工到智能分析师二、PDF处理:文档工厂的智能生产线三、邮件自动化:

Python数据分析与可视化的全面指南(从数据清洗到图表呈现)

《Python数据分析与可视化的全面指南(从数据清洗到图表呈现)》Python是数据分析与可视化领域中最受欢迎的编程语言之一,凭借其丰富的库和工具,Python能够帮助我们快速处理、分析数据并生成高质... 目录一、数据采集与初步探索二、数据清洗的七种武器1. 缺失值处理策略2. 异常值检测与修正3. 数据

pandas实现数据concat拼接的示例代码

《pandas实现数据concat拼接的示例代码》pandas.concat用于合并DataFrame或Series,本文主要介绍了pandas实现数据concat拼接的示例代码,具有一定的参考价值,... 目录语法示例:使用pandas.concat合并数据默认的concat:参数axis=0,join=

C#代码实现解析WTGPS和BD数据

《C#代码实现解析WTGPS和BD数据》在现代的导航与定位应用中,准确解析GPS和北斗(BD)等卫星定位数据至关重要,本文将使用C#语言实现解析WTGPS和BD数据,需要的可以了解下... 目录一、代码结构概览1. 核心解析方法2. 位置信息解析3. 经纬度转换方法4. 日期和时间戳解析5. 辅助方法二、L

使用Python和Matplotlib实现可视化字体轮廓(从路径数据到矢量图形)

《使用Python和Matplotlib实现可视化字体轮廓(从路径数据到矢量图形)》字体设计和矢量图形处理是编程中一个有趣且实用的领域,通过Python的matplotlib库,我们可以轻松将字体轮廓... 目录背景知识字体轮廓的表示实现步骤1. 安装依赖库2. 准备数据3. 解析路径指令4. 绘制图形关键