云计算时代:当大数据遇到敏捷

2024-01-23 05:58

本文主要是介绍云计算时代:当大数据遇到敏捷,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!


http://cloud.csdn.net/a/20111010/305493.html

今年九月在纽约的O’Reilly媒体会议上大数据技术有两大呼声:企业级和敏捷。我们知道企业级的商务智能产品有Oracle Hyperion、SAP BusinessObjects和IBM Cogonos,而敏捷产品有QlikView、Tableau和TIBCO Spotfire。

如果事实证明大数据必须购买企业级的产品,那么就意味着大数据会花大本钱。但这并非绝对,通过使用大数据敏捷技术,各种规模的企业都可以控制成本,从大数据中获益。至关重要的是尽可能降低成本并最大化的了解大数据集,一旦数据被转化为可用便具有对业务的洞察力,然后以各种方式将问题汇总,并发挥企业技术的优势解决问题。

企业级 VS 敏捷BI

首先让我们来看看BI世界里发生了什么。企业级BI设计的意图是为了满足大型企业中许多信息孤岛的要求。典型场景如下:信息孤岛中的数据通过ETL的过程被清洗和规范化,进入到数据仓库中,成为一个可用的版本。然后,通过报表和分析技术,数据被切片、切块,并交付给成千上万的人。企业级BI是一个复杂的过程,它通过多种应用程序的协同工作,以满足企业中成千上万人的需求。企业级BI的问题是它的配置需要花费很长时间,所有大型的复杂系统都十分难以配置和改动。

敏捷BI可以解决企业BI所面对的诸多问题。敏捷BI可以以高度互动的方式为最终用户排序、筛选和统计数据,而不需要BI专家的指导。企业采用敏捷BI技术,可以更广泛的享受数据所体现的价值。

企业级 VS 敏捷的大数据

现在是大数据技术出场的时候了,EMC Greenplum、Teradata Aster Data等是企业级的代表,而1010data、Pervasive DataRush等则是敏捷的代表。这两类厂商都意识到了企业级和敏捷在BI领域的鸿沟,并努力解决这个问题。企业级大数据供应商知道他们需要敏捷,而敏捷的大数据厂商知道他们需要提供高质量的企业级解决方案。

企业级大数据供应商推出了一些灵活性解决方案。Greenplum推出了一个名为Chorus的产品,以提供一个协作环境,支持数据分析和查找的过程。Aster提供了一系列SQL扩展,允许Hadoop类型的查询使用类似与SQL的语法。在实现敏捷方面,这些产品的扩展是很大的进步,但对Greenplum和Aster企业级技术所带来的高昂价格标签,人们更感兴趣的问题是:能否以敏捷的大数据技术弥补企业级技术的不足,以更少的投资获得更多的回报?

敏捷的大数据解决企业级平台的难题

回头看看我们所提到的三种敏捷的大数据技术,首先的问题是:它们为什么被称作是敏捷的?

答案其实很简单,它们可以让用户获取非凡的数据洞察力,并削减价格。如下:

只需经过些许培训,用户就可以使用Splunk进行数据的查询、筛选和显示

1010data以电子表格的形式为用户提供大数据的处理界面

Pervasive DataRush以图形界面并行、高效地处理数据

一个敏捷的大数据在大批量处理中的案例

David Inbar是Pervasive的市场发展战略办公室的首席执行官,在价格低廉的做了一个实验演示,处理了足够庞大的可称之为大数据的数据。

DataRush的工具包消除了程序员并行编程的复杂度。即便是科技狂人,相对编写一个单线程的程序,并行编程也无异于是火箭科学。DataRush为并行编程提供了一种编程模型,以替代艰难的多核函数编码。比如,你可以编写一个基于组件模型的工作流应用程序,该工具包会自动将其转化为该工作流所允许的并行应用程序。

大数据系统如Hadoop具有横向扩展性。虽然DataRush可以承担此类角色,并能在数千台计算机中安装,但是它的不同之处在于它一般在一台计算机中安装,用以发掘多核系统的潜能。

DataRush最有特色的功能是它并不需要你知道计算机究竟有多少个核,当编写一个DataRush应用程序时,它会自动感知计算机上核心的数目,并最大限度地利用,以进行并行处理。

将敏捷组件集合起来构建企业级系统

敏捷技术在针对大数据创建智能业务系统方面具有极大优势,但仍然有相当长的路要走。敏捷BI能够降低成本,面对大数据的挑战,它将证明它的价值。


这篇关于云计算时代:当大数据遇到敏捷的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/635424

相关文章

MySQL快速复制一张表的四种核心方法(包括表结构和数据)

《MySQL快速复制一张表的四种核心方法(包括表结构和数据)》本文详细介绍了四种复制MySQL表(结构+数据)的方法,并对每种方法进行了对比分析,适用于不同场景和数据量的复制需求,特别是针对超大表(1... 目录一、mysql 复制表(结构+数据)的 4 种核心方法(面试结构化回答)方法 1:CREATE

详解C++ 存储二进制数据容器的几种方法

《详解C++存储二进制数据容器的几种方法》本文主要介绍了详解C++存储二进制数据容器,包括std::vector、std::array、std::string、std::bitset和std::ve... 目录1.std::vector<uint8_t>(最常用)特点:适用场景:示例:2.std::arra

MySQL中的DELETE删除数据及注意事项

《MySQL中的DELETE删除数据及注意事项》MySQL的DELETE语句是数据库操作中不可或缺的一部分,通过合理使用索引、批量删除、避免全表删除、使用TRUNCATE、使用ORDERBY和LIMI... 目录1. 基本语法单表删除2. 高级用法使用子查询删除删除多表3. 性能优化策略使用索引批量删除避免

MySQL 数据库进阶之SQL 数据操作与子查询操作大全

《MySQL数据库进阶之SQL数据操作与子查询操作大全》本文详细介绍了SQL中的子查询、数据添加(INSERT)、数据修改(UPDATE)和数据删除(DELETE、TRUNCATE、DROP)操作... 目录一、子查询:嵌套在查询中的查询1.1 子查询的基本语法1.2 子查询的实战示例二、数据添加:INSE

Linux服务器数据盘移除并重新挂载的全过程

《Linux服务器数据盘移除并重新挂载的全过程》:本文主要介绍在Linux服务器上移除并重新挂载数据盘的整个过程,分为三大步:卸载文件系统、分离磁盘和重新挂载,每一步都有详细的步骤和注意事项,确保... 目录引言第一步:卸载文件系统第二步:分离磁盘第三步:重新挂载引言在 linux 服务器上移除并重新挂p

使用MyBatis TypeHandler实现数据加密与解密的具体方案

《使用MyBatisTypeHandler实现数据加密与解密的具体方案》在我们日常的开发工作中,经常会遇到一些敏感数据需要存储,比如用户的手机号、身份证号、银行卡号等,为了保障数据安全,我们通常会对... 目录1. 核心概念:什么是 TypeHandler?2. 实战场景3. 代码实现步骤步骤 1:定义 E

使用C#导出Excel数据并保存多种格式的完整示例

《使用C#导出Excel数据并保存多种格式的完整示例》在现代企业信息化管理中,Excel已经成为最常用的数据存储和分析工具,从员工信息表、销售数据报表到财务分析表,几乎所有部门都离不开Excel,本文... 目录引言1. 安装 Spire.XLS2. 创建工作簿和填充数据3. 保存为不同格式4. 效果展示5

Python多任务爬虫实现爬取图片和GDP数据

《Python多任务爬虫实现爬取图片和GDP数据》本文主要介绍了基于FastAPI开发Web站点的方法,包括搭建Web服务器、处理图片资源、实现多任务爬虫和数据可视化,同时,还简要介绍了Python爬... 目录一. 基于FastAPI之Web站点开发1. 基于FastAPI搭建Web服务器2. Web服务

MySQL 批量插入的原理和实战方法(快速提升大数据导入效率)

《MySQL批量插入的原理和实战方法(快速提升大数据导入效率)》在日常开发中,我们经常需要将大量数据批量插入到MySQL数据库中,本文将介绍批量插入的原理、实现方法,并结合Python和PyMySQ... 目录一、批量插入的优势二、mysql 表的创建示例三、python 实现批量插入1. 安装 PyMyS

关于MySQL将表中数据删除后多久空间会被释放出来

《关于MySQL将表中数据删除后多久空间会被释放出来》MySQL删除数据后,空间不会立即释放给操作系统,而是会被标记为“可重用”,以供未来插入新数据时使用,只有满足特定条件时,空间才可能真正返还给操作... 目录一、mysql数据删除与空间管理1.1 理解MySQL数据删除原理1.3 执行SQL1.3 使用