大数据收益 主流Hadoop用户有话说

2024-01-25 06:08

本文主要是介绍大数据收益 主流Hadoop用户有话说,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

对于密歇根的Blue Cross Blue Shield公司来说,大数据部署并不是一时冲动的决定。

Beata Puncevic是这家医疗保险公司分析总监,负责数据工程和数据管理,她说:“对于很多像我们这样的组织,大数据还没有成为运营业务的核心基础。如果你去对很多人(主管)讲,让他们在大数据平台上投资,你是很难与他们产生共鸣的,这是很大的挑战。”

Puncevic认为,对于Blue Cross公司和其它医疗保健企业,这些挑战包括低利润率、资源和技能储备问题,还有相对保守的文化问题。低利润使得很难为技术创新留出钱来。她和她的同事们不得不做很多额外的努力来获得Hadoop数据湖的审批和资金。

Puncevic组建了团队针对数据湖项目开发了投资回报率框架,评估大数据项目的益处。在构建业务案例的过程中,她还关注了三类与IT有关的改善,包括:降低数据处理和管理成本,建立更深刻的分析,创建更灵活和适应性的技术架构。

此外,Puncevic说她在争取获得公司资金支持,用于本阶段项目和后续项目阶段。“因此,我们不必担心为了大数据策略的各种方面从个别业务单元获取资金的问题”。

这种策略很有效,这家底特律的保险公司已经启动了未来三到五年的大数据平台建设规划。Puncevic上周在美国加州San Jose举办的2016 Hadoop峰会上说,大数据的好处对于整个医疗行业来说是“潜力巨大的”。除了节省IT开支,她还提到了降低医疗成本的益处,同时可以改善患者就医体验,促进医学预防工作。所有这些都是通过更好的分析获得的。

利用大数据获益之路

大数据的价值为Progressive Casualty保险公司及其车险客户也带来了绝对真实的价值。Brian Durkin是该公司企业架构组的创新战略师,他说Progressive公司使用Hadoop集群增强了Snapshot项目,基于从车辆收集到的运行数据奖励安全未出险驾驶员购险折扣。Durkin在另一场分会上表示,自从2008年该项目启动以来,该保险公司已经发放了价值超过5.6亿美元的折扣优惠。

他说:“这不是科学实验,而是已经在真实发生的事。我们在这方面全身心投入,这对我们的客户也很重要。”

为了跟踪参保驾驶员并计算折扣,该集群环境需要收集大量数据进行处理和分析,他们的集群环境与Blue Cross公司的是类似的,都是基于Hortonworks Hadoop分布式框架的。Progressive公司已经收集了24亿数据,集群留存了所有信息。为了分析驾驶模式,识别坏习惯驾驶的司机并警示他们,Durkin认为:“越旧的数据越有价值。所以他们留存了所有数据并对所有历史数据进行分析。”

处理数据需要大量处理资源,Progressive公司部署了许多高级分析工具供公司数据科学家使用,包括SAS、R编程语言和H2O。Pawan Divakarla是该保险公司在美国俄亥俄州Mayfield Village分部的数据和分析业务负责人,他表示许多业务主管们都乐意为此买单。

他说:“我们公司完全是数据驱动的公司,我们希望人们有主观动机和想法,但是他们需要用数据证明他们的想法。”

Hadoop的高价值应用

零售商Macy公司运行了BI和分析应用,也是基于Hortonworks的Hadoop系统,他们为此支持营销、销售计划、产品管理和其它业务运营。每天都有成千上万的商业用户访问数以百计的BI仪表盘,这是他们做决策需要使用的关键功能。

Chakrapany说:“你不会只想看到Hadoop用作廉价存储解决方案的,它的价值原不止于此。”

Hadoop仍然在逐渐走向成熟,目前还有一些功能比较粗糙。他提醒说,使用Hadoop的新用户应该了解到它有一些不稳定性,有些IT管理功能也不太完善。“如果你认为它是绝对可靠的,那么这种想法是不正确的”。他说,尽管如此他还是认为Hadoop可以真正成为企业级的数据分析平台供Macy公司使用。

但是,Chakrapany并不认为从大数据分析和基于Hadoop的BI应用获益是理所当然的事。去年,他组建了团队在内部宣讲大数据环境的优点,希望游说更多业务单元使用它。他的团队还跟踪Hadoop平台产生的业务价值,包括定性和定量两方面。

Chakrapany说:“我们不想只是统计用户数量和查询数量,统计分析了多少数据,那些只是数字。关键部分在于,这些数据给企业带来了哪些帮助。”

在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取

这篇关于大数据收益 主流Hadoop用户有话说的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/642298

相关文章

Java注解之超越Javadoc的元数据利器详解

《Java注解之超越Javadoc的元数据利器详解》本文将深入探讨Java注解的定义、类型、内置注解、自定义注解、保留策略、实际应用场景及最佳实践,无论是初学者还是资深开发者,都能通过本文了解如何利用... 目录什么是注解?注解的类型内置注编程解自定义注解注解的保留策略实际用例最佳实践总结在 Java 编程

CentOS和Ubuntu系统使用shell脚本创建用户和设置密码

《CentOS和Ubuntu系统使用shell脚本创建用户和设置密码》在Linux系统中,你可以使用useradd命令来创建新用户,使用echo和chpasswd命令来设置密码,本文写了一个shell... 在linux系统中,你可以使用useradd命令来创建新用户,使用echo和chpasswd命令来设

一文教你Python如何快速精准抓取网页数据

《一文教你Python如何快速精准抓取网页数据》这篇文章主要为大家详细介绍了如何利用Python实现快速精准抓取网页数据,文中的示例代码简洁易懂,具有一定的借鉴价值,有需要的小伙伴可以了解下... 目录1. 准备工作2. 基础爬虫实现3. 高级功能扩展3.1 抓取文章详情3.2 保存数据到文件4. 完整示例

使用Java将各种数据写入Excel表格的操作示例

《使用Java将各种数据写入Excel表格的操作示例》在数据处理与管理领域,Excel凭借其强大的功能和广泛的应用,成为了数据存储与展示的重要工具,在Java开发过程中,常常需要将不同类型的数据,本文... 目录前言安装免费Java库1. 写入文本、或数值到 Excel单元格2. 写入数组到 Excel表格

python处理带有时区的日期和时间数据

《python处理带有时区的日期和时间数据》这篇文章主要为大家详细介绍了如何在Python中使用pytz库处理时区信息,包括获取当前UTC时间,转换为特定时区等,有需要的小伙伴可以参考一下... 目录时区基本信息python datetime使用timezonepandas处理时区数据知识延展时区基本信息

Qt实现网络数据解析的方法总结

《Qt实现网络数据解析的方法总结》在Qt中解析网络数据通常涉及接收原始字节流,并将其转换为有意义的应用层数据,这篇文章为大家介绍了详细步骤和示例,感兴趣的小伙伴可以了解下... 目录1. 网络数据接收2. 缓冲区管理(处理粘包/拆包)3. 常见数据格式解析3.1 jsON解析3.2 XML解析3.3 自定义

SpringMVC 通过ajax 前后端数据交互的实现方法

《SpringMVC通过ajax前后端数据交互的实现方法》:本文主要介绍SpringMVC通过ajax前后端数据交互的实现方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价... 在前端的开发过程中,经常在html页面通过AJAX进行前后端数据的交互,SpringMVC的controll

SpringBoot UserAgentUtils获取用户浏览器的用法

《SpringBootUserAgentUtils获取用户浏览器的用法》UserAgentUtils是于处理用户代理(User-Agent)字符串的工具类,一般用于解析和处理浏览器、操作系统以及设备... 目录介绍效果图依赖封装客户端工具封装IP工具实体类获取设备信息入库介绍UserAgentUtils

Pandas统计每行数据中的空值的方法示例

《Pandas统计每行数据中的空值的方法示例》处理缺失数据(NaN值)是一个非常常见的问题,本文主要介绍了Pandas统计每行数据中的空值的方法示例,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是空值?为什么要统计空值?准备工作创建示例数据统计每行空值数量进一步分析www.chinasem.cn处

如何使用 Python 读取 Excel 数据

《如何使用Python读取Excel数据》:本文主要介绍使用Python读取Excel数据的详细教程,通过pandas和openpyxl,你可以轻松读取Excel文件,并进行各种数据处理操... 目录使用 python 读取 Excel 数据的详细教程1. 安装必要的依赖2. 读取 Excel 文件3. 读