大数据收益 主流Hadoop用户有话说

2024-01-25 06:08

本文主要是介绍大数据收益 主流Hadoop用户有话说,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

对于密歇根的Blue Cross Blue Shield公司来说,大数据部署并不是一时冲动的决定。

Beata Puncevic是这家医疗保险公司分析总监,负责数据工程和数据管理,她说:“对于很多像我们这样的组织,大数据还没有成为运营业务的核心基础。如果你去对很多人(主管)讲,让他们在大数据平台上投资,你是很难与他们产生共鸣的,这是很大的挑战。”

Puncevic认为,对于Blue Cross公司和其它医疗保健企业,这些挑战包括低利润率、资源和技能储备问题,还有相对保守的文化问题。低利润使得很难为技术创新留出钱来。她和她的同事们不得不做很多额外的努力来获得Hadoop数据湖的审批和资金。

Puncevic组建了团队针对数据湖项目开发了投资回报率框架,评估大数据项目的益处。在构建业务案例的过程中,她还关注了三类与IT有关的改善,包括:降低数据处理和管理成本,建立更深刻的分析,创建更灵活和适应性的技术架构。

此外,Puncevic说她在争取获得公司资金支持,用于本阶段项目和后续项目阶段。“因此,我们不必担心为了大数据策略的各种方面从个别业务单元获取资金的问题”。

这种策略很有效,这家底特律的保险公司已经启动了未来三到五年的大数据平台建设规划。Puncevic上周在美国加州San Jose举办的2016 Hadoop峰会上说,大数据的好处对于整个医疗行业来说是“潜力巨大的”。除了节省IT开支,她还提到了降低医疗成本的益处,同时可以改善患者就医体验,促进医学预防工作。所有这些都是通过更好的分析获得的。

利用大数据获益之路

大数据的价值为Progressive Casualty保险公司及其车险客户也带来了绝对真实的价值。Brian Durkin是该公司企业架构组的创新战略师,他说Progressive公司使用Hadoop集群增强了Snapshot项目,基于从车辆收集到的运行数据奖励安全未出险驾驶员购险折扣。Durkin在另一场分会上表示,自从2008年该项目启动以来,该保险公司已经发放了价值超过5.6亿美元的折扣优惠。

他说:“这不是科学实验,而是已经在真实发生的事。我们在这方面全身心投入,这对我们的客户也很重要。”

为了跟踪参保驾驶员并计算折扣,该集群环境需要收集大量数据进行处理和分析,他们的集群环境与Blue Cross公司的是类似的,都是基于Hortonworks Hadoop分布式框架的。Progressive公司已经收集了24亿数据,集群留存了所有信息。为了分析驾驶模式,识别坏习惯驾驶的司机并警示他们,Durkin认为:“越旧的数据越有价值。所以他们留存了所有数据并对所有历史数据进行分析。”

处理数据需要大量处理资源,Progressive公司部署了许多高级分析工具供公司数据科学家使用,包括SAS、R编程语言和H2O。Pawan Divakarla是该保险公司在美国俄亥俄州Mayfield Village分部的数据和分析业务负责人,他表示许多业务主管们都乐意为此买单。

他说:“我们公司完全是数据驱动的公司,我们希望人们有主观动机和想法,但是他们需要用数据证明他们的想法。”

Hadoop的高价值应用

零售商Macy公司运行了BI和分析应用,也是基于Hortonworks的Hadoop系统,他们为此支持营销、销售计划、产品管理和其它业务运营。每天都有成千上万的商业用户访问数以百计的BI仪表盘,这是他们做决策需要使用的关键功能。

Chakrapany说:“你不会只想看到Hadoop用作廉价存储解决方案的,它的价值原不止于此。”

Hadoop仍然在逐渐走向成熟,目前还有一些功能比较粗糙。他提醒说,使用Hadoop的新用户应该了解到它有一些不稳定性,有些IT管理功能也不太完善。“如果你认为它是绝对可靠的,那么这种想法是不正确的”。他说,尽管如此他还是认为Hadoop可以真正成为企业级的数据分析平台供Macy公司使用。

但是,Chakrapany并不认为从大数据分析和基于Hadoop的BI应用获益是理所当然的事。去年,他组建了团队在内部宣讲大数据环境的优点,希望游说更多业务单元使用它。他的团队还跟踪Hadoop平台产生的业务价值,包括定性和定量两方面。

Chakrapany说:“我们不想只是统计用户数量和查询数量,统计分析了多少数据,那些只是数字。关键部分在于,这些数据给企业带来了哪些帮助。”

在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取

这篇关于大数据收益 主流Hadoop用户有话说的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/642298

相关文章

批量导入txt数据到的redis过程

《批量导入txt数据到的redis过程》用户通过将Redis命令逐行写入txt文件,利用管道模式运行客户端,成功执行批量删除以Product*匹配的Key操作,提高了数据清理效率... 目录批量导入txt数据到Redisjs把redis命令按一条 一行写到txt中管道命令运行redis客户端成功了批量删除k

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3

Python操作PDF文档的主流库使用指南

《Python操作PDF文档的主流库使用指南》PDF因其跨平台、格式固定的特性成为文档交换的标准,然而,由于其复杂的内部结构,程序化操作PDF一直是个挑战,本文主要为大家整理了Python操作PD... 目录一、 基础操作1.PyPDF2 (及其继任者 pypdf)2.PyMuPDF / fitz3.Fre

最新Spring Security的基于内存用户认证方式

《最新SpringSecurity的基于内存用户认证方式》本文讲解SpringSecurity内存认证配置,适用于开发、测试等场景,通过代码创建用户及权限管理,支持密码加密,虽简单但不持久化,生产环... 目录1. 前言2. 因何选择内存认证?3. 基础配置实战❶ 创建Spring Security配置文件

C#监听txt文档获取新数据方式

《C#监听txt文档获取新数据方式》文章介绍通过监听txt文件获取最新数据,并实现开机自启动、禁用窗口关闭按钮、阻止Ctrl+C中断及防止程序退出等功能,代码整合于主函数中,供参考学习... 目录前言一、监听txt文档增加数据二、其他功能1. 设置开机自启动2. 禁止控制台窗口关闭按钮3. 阻止Ctrl +

java如何实现高并发场景下三级缓存的数据一致性

《java如何实现高并发场景下三级缓存的数据一致性》这篇文章主要为大家详细介绍了java如何实现高并发场景下三级缓存的数据一致性,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 下面代码是一个使用Java和Redisson实现的三级缓存服务,主要功能包括:1.缓存结构:本地缓存:使

在MySQL中实现冷热数据分离的方法及使用场景底层原理解析

《在MySQL中实现冷热数据分离的方法及使用场景底层原理解析》MySQL冷热数据分离通过分表/分区策略、数据归档和索引优化,将频繁访问的热数据与冷数据分开存储,提升查询效率并降低存储成本,适用于高并发... 目录实现冷热数据分离1. 分表策略2. 使用分区表3. 数据归档与迁移在mysql中实现冷热数据分

C#解析JSON数据全攻略指南

《C#解析JSON数据全攻略指南》这篇文章主要为大家详细介绍了使用C#解析JSON数据全攻略指南,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、为什么jsON是C#开发必修课?二、四步搞定网络JSON数据1. 获取数据 - HttpClient最佳实践2. 动态解析 - 快速

MyBatis-Plus通用中等、大量数据分批查询和处理方法

《MyBatis-Plus通用中等、大量数据分批查询和处理方法》文章介绍MyBatis-Plus分页查询处理,通过函数式接口与Lambda表达式实现通用逻辑,方法抽象但功能强大,建议扩展分批处理及流式... 目录函数式接口获取分页数据接口数据处理接口通用逻辑工具类使用方法简单查询自定义查询方法总结函数式接口