HashData携手XSKY 助力企业构建数据智能底座

2023-11-06 12:20

本文主要是介绍HashData携手XSKY 助力企业构建数据智能底座,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

近日,酷克数据联合XSKY星辰天合共同推出了云原生数据平台解决方案(以下简称“解决方案”)。基于双方核心产品技术特性和优势,该解决方案采用湖仓一体、存算分离架构,融合数据仓库、数据湖、对象存储的优势,能够高效管理海量规模数据,满足企业多样化的大数据应用需求。

经过双方产品的适配、测试和针对性优化,部署于XSKY XEOS 对象存储的HashData云数仓,完美满足OLAP场景中的数据访问性能与稳定性要求,并且在可靠性、持久性、灵活性具有比HDFS开源存储系统更优异的性能表现,实现了计算节点与存储节点分别部署,各自独立扩缩容以及平滑升级演进等能力,充分体现出存算分离架构的强大性能及高扩展性。

为方便广大用户了解该联合解决方案优势,双方技术专家通过线上研讨会的形式对方案特性进行了详细讲解。

架构升级 让数据分析更高效更智能

​随着内外部异源数据的指数级增加,如何建设能力全面、稳定可靠、成本合适的大数据平台,始终是企业数字化和智能化发展过程中的关注点。

传统大数据平台普遍采用存算紧耦合的架构,存在数据孤岛、数据冗余、建设成本高、后期运维繁琐等诸多不足,难以满足当前数字化转型需求。

图1:HashData云数仓架构图

为了帮助企业应对数据爆炸式增长带来的挑战,更高效、灵活地管理和利用各类数据,酷克数据和XSKY星辰天合推出了基于云原生架构的数据平台解决方案。依托HashData云数仓领先的技术优势和XSKY对象存储产品特性,解决方案面向用户提供了云原生的消费方式,利用“一份数据”的做法,消除了不必要的数据冗余,构建了统一的数据空间,可以显著地降低企业数据分析的成本,同时极大地增加了数据分享的便利性。

  • 归集全域数据所有用户数据集中存储,逻辑上只保存一份数据,数据的高可用由存储层进行保障,消除业务层面的数据冗余,确保数据的一致性,真正意义上消除了数据孤岛。
  • 降低数据治理复杂度:数据平台融合,大幅降低次生数据质量问题;同时便于元数据、主数据和数据标准的管理;可以集中化进行数据安全管理,减少安全漏洞产生的环节。
  • 强大的数据存储能力:对象存储具备高效的小文件处理能力,更适合结构化、非结构化数据处理和存储。解决方案支持单桶千亿,满足超大规模数据平台容量需求。
  • 便捷数据共享:除了共享脱敏数据外,还可以通过无状态的计算集群共享计算资源,或者整合PaaS和SaaS直接共享数据服务,实现数据协同与融合共创。
  • 高可用云基础架构:基于云原生带来跨区域的高可用能力,保障了数据平台的弹性扩展,秒级故障自愈的能力,确保了数据平台的高可用与稳定性能保障,提升业务连续性。
  • 增强数据服务能力:通过云原生的PaaS服务,提供弹性的数据计算和加工资源,便于业务人员快速获取与使用数据,以应对市场的快速变化,支持业务更加敏捷地面向市场。

针对蓬勃发展的人工智能技术,HashData基于in-database AI的理念,设计了两种计算引擎:针对SQL查询分析任务的MPP计算引擎,以及针对机器学习和深度学习任务的ML/DL计算引擎。同时,HashData内置了自研的AI开发工具箱HashML,支持ML、DL、LLM的训练、微调和推理任务。

图2:HashML主要功能概览

HashData还实现了对大规模向量数据的高效存储和检索,使得基于知识增强的LLM智能应用搭建变得更加简单,帮助企业以极低的成本、极高的效率微调定制若干个领域模型,轻松搭建包括智能问答、自然语言转SQL、辅助写作、辅助分析等智能应用。

携手共赢 打造自主可控数据库生态

作为国内最早专注于云原生数仓研发推广的企业,酷克数据从成立之初就致力于打造世界一流云数仓产品,并努力打造自主可控数据库生态。

HashData和XSKY的合作可以追溯到2018年,是国内企业级市场中最早利用对象存储管理海量结构化数据的落地方案之一,双方合作的技术方案已在金融、电信、科研等领域实现大规模商用,并稳定运行多年。

此外,HashData积极与芯片、中间件、应用软件、硬件等生态上下游厂商保持紧密的协同合作,构建完善的数据库生态体系。目前,HashData已经与华为云鲲鹏体系、飞腾芯片、海光芯片、麒麟操作系统(鲲鹏版+飞腾版)、统信操作系统(飞腾、腾云、鲲鹏916、鲲鹏920)等完成兼容性认证。

未来,HashData将继往开来发挥在数据库领域的核心技术优势,更好地满足客户在数智化时代对数据驱动业务发展的需求。

附:直播问答节选

1、HashData 主要应用的行业有哪些?

专家解答:HashData 数据平台是通用型数据底座,目前客户广泛分布在金融、电信、政府、能源、交通、科研、互联网等领域。

2、HashData 大模型托管服务需要什么样的显卡?

专家解答:HashData 支持常见的商业和开源大模型。基础设施的配置有很多影响因素,如业务场景要求、模型规模等。在私有化环境部署十亿级或百亿级参数语言模型的推理和模型微调的起步配置要求并不高。

3、满足各种权限要求同时如何保证数据的绝对安全呢?

专家解答:数据安全是一个很大的话题,对于存储来说,可以从以下几个方面考虑:

■ 底层架构,如:分布式存储底层算法的一致性,缓存算法等;

■ 权限管理,包括:存储管理操作的权限、数据管理的权限;

■ 数据保护相关功能,如:加密、审计、回收站、备份、容灾等多个方面来保证数据的绝对安全。

这篇关于HashData携手XSKY 助力企业构建数据智能底座的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/356575

相关文章

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

使用Python构建智能BAT文件生成器的完美解决方案

《使用Python构建智能BAT文件生成器的完美解决方案》这篇文章主要为大家详细介绍了如何使用wxPython构建一个智能的BAT文件生成器,它不仅能够为Python脚本生成启动脚本,还提供了完整的文... 目录引言运行效果图项目背景与需求分析核心需求技术选型核心功能实现1. 数据库设计2. 界面布局设计3

解决pandas无法读取csv文件数据的问题

《解决pandas无法读取csv文件数据的问题》本文讲述作者用Pandas读取CSV文件时因参数设置不当导致数据错位,通过调整delimiter和on_bad_lines参数最终解决问题,并强调正确参... 目录一、前言二、问题复现1. 问题2. 通过 on_bad_lines=‘warn’ 跳过异常数据3

深入浅出SpringBoot WebSocket构建实时应用全面指南

《深入浅出SpringBootWebSocket构建实时应用全面指南》WebSocket是一种在单个TCP连接上进行全双工通信的协议,这篇文章主要为大家详细介绍了SpringBoot如何集成WebS... 目录前言为什么需要 WebSocketWebSocket 是什么Spring Boot 如何简化 We

C#监听txt文档获取新数据方式

《C#监听txt文档获取新数据方式》文章介绍通过监听txt文件获取最新数据,并实现开机自启动、禁用窗口关闭按钮、阻止Ctrl+C中断及防止程序退出等功能,代码整合于主函数中,供参考学习... 目录前言一、监听txt文档增加数据二、其他功能1. 设置开机自启动2. 禁止控制台窗口关闭按钮3. 阻止Ctrl +

java如何实现高并发场景下三级缓存的数据一致性

《java如何实现高并发场景下三级缓存的数据一致性》这篇文章主要为大家详细介绍了java如何实现高并发场景下三级缓存的数据一致性,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 下面代码是一个使用Java和Redisson实现的三级缓存服务,主要功能包括:1.缓存结构:本地缓存:使

在MySQL中实现冷热数据分离的方法及使用场景底层原理解析

《在MySQL中实现冷热数据分离的方法及使用场景底层原理解析》MySQL冷热数据分离通过分表/分区策略、数据归档和索引优化,将频繁访问的热数据与冷数据分开存储,提升查询效率并降低存储成本,适用于高并发... 目录实现冷热数据分离1. 分表策略2. 使用分区表3. 数据归档与迁移在mysql中实现冷热数据分

C#解析JSON数据全攻略指南

《C#解析JSON数据全攻略指南》这篇文章主要为大家详细介绍了使用C#解析JSON数据全攻略指南,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、为什么jsON是C#开发必修课?二、四步搞定网络JSON数据1. 获取数据 - HttpClient最佳实践2. 动态解析 - 快速

Spring Boot Maven 插件如何构建可执行 JAR 的核心配置

《SpringBootMaven插件如何构建可执行JAR的核心配置》SpringBoot核心Maven插件,用于生成可执行JAR/WAR,内置服务器简化部署,支持热部署、多环境配置及依赖管理... 目录前言一、插件的核心功能与目标1.1 插件的定位1.2 插件的 Goals(目标)1.3 插件定位1.4 核

使用Python构建一个高效的日志处理系统

《使用Python构建一个高效的日志处理系统》这篇文章主要为大家详细讲解了如何使用Python开发一个专业的日志分析工具,能够自动化处理、分析和可视化各类日志文件,大幅提升运维效率,需要的可以了解下... 目录环境准备工具功能概述完整代码实现代码深度解析1. 类设计与初始化2. 日志解析核心逻辑3. 文件处