【SDCC 2016现场】数据库核心技术与实战应用峰会实录(下)

2023-10-23 08:50

本文主要是介绍【SDCC 2016现场】数据库核心技术与实战应用峰会实录(下),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

【SDCC 2016现场】数据库核心技术与实战应用峰会实录(上)

摘要:数据库核心技术与实战应用峰会下午继续进行中,来自上海热璞CTO金官丁、阿里巴巴高级技术专家沈春辉、AdMaster技术副总裁兼总架构师卢亿雷、饿了么DBA经历虢国飞、七牛云技术总监陈超详细剖析了各自在数据库领域的实践经验。

【CSDN现场报道】2016年3月18日-19日,由CSDN重磅打造的互联网应用架构实战峰会、数据库核心技术与实战应用峰会在上海光大会展中心国际大酒店隆重召开。作为SDCC 2016(中国软件开发者大会)系列技术峰会的一部分,大会秉承干货实料的内容原则,这两场峰会将邀请业内顶尖的架构师和技术专家,共同探讨高可用/高并发系统架构设计、新技术应用、移动应用架构、微服务、智能硬件架构、云数据库实战、新一代数据库平台、产品选型、性能调优、大数据应用实战等领域的话题与技术。

下午13:30,数据库核心技术与实战应用峰会在AdMaster技术副总裁兼总架构师,大数据资深专家卢亿雷的主持下继续进行,来自上海热璞、阿里巴巴、AdMaster、饿了么、七牛的资深数据库专家分享了各自在数据库领域中的实战经验。

上海热璞网络科技有限公司CTO 金官丁:分布式数据库技术架构的演变与发展方向

金官丁老师这次主要分享关于分布式数据库技术架构分类、企业为何需要分布式数据库、分布式数据库的技术架构演变、及分布式数据库技术架构的未来方向。

图片描述

上海热璞网络科技有限公司CTO 金官丁

首先详细介绍了分布式数据库技术架构的分类。并针对企业为何需要分布式数据库进行了深度的剖析,他认为,企业支撑有限、成本过高和依赖严重,都是造成企业需要分布式数据库的原因。

图片描述

金官丁老师还列举了电信行业、快递物流行业等典型的企业业务场景,深入分析了这些典型企业的业务流程。他就分布式数据库的技术架构未来发展方向,提出了自己的观点,并对数据库行业十三五进行了深度的预测:中小企业数据库公有云化、实力派中型和大型企业数据库私有云化、分析型数据库、自主研发与开源数据库融合毒霸天下、分布式数据库技术像虚拟化一样普及、国产数据库进入死亡期这六大预测。

阿里巴巴高级技术专家 沈春辉:高可用HBase的技术实践

阿里巴巴高级技术专家沈春辉带来了《高可用HBase的技术实践》,在本次演讲中主要分享阿里在保障HBase服务高可用方面的一些工作,包括MTTR、MTBF、冗余切换等角度的实践与软件改进,让大家深度的了解HBase。

图片描述

阿里巴巴高级技术专家 沈春辉

对HBase在阿里的应用场景:
1.结构化数据在线存取;2.高吞吐数据写入;3.海量数据实时写入与查询;4.实时流计算的底层存储。

图片描述

从专业的角度深度分析了MTBF和MTTR,集群规模、系统压力、故障范围、故障缘由都是影响MTTR因素,而升级、变更、迁移、容量、用户不规则活动、软件不够健壮则是影响MTBF的因素。在演讲的尾声,又对冗余切换进行了深入的讲解。

AdMaster技术副总裁兼总架构师卢亿雷:ElasticSearch分析与实践

作为今天数据库峰会的主持人,AdMaster技术副总裁兼总架构师卢亿雷为我们带来了《ElasticSearch分析与实践》的主题分享,主要从ElasticSearch特点及生态圈、Lucence原理、ElasticSearch架构和插件、ElasticSearch管理和监控工具、ElasticSearch应用案例、ELK实践这六大方面进行分享。

图片描述

AdMaster技术副总裁兼总架构师 卢亿雷

针对ElasticSearch架构和插件:分词插件、同步插件、数据传输插件、脚本插件、Alert和Shield进行了详细的介绍。

图片描述

着重分析了ElasticSearch应用案例的测试条件:
1.记录条数分为100亿以内和1000亿条
2. 服务器数量为70台,配置为:CPU 12核,内存96G,硬盘48T
3. 测试语句:select count(*) from test where age > 25 and gender 0 and os > “500” and sc in
(“0001009”,”0002036”,”0016030”,”…”) or bs>585 and group
by age,gender,os,bs
4.总共14列(200列):动态列为3列(多值列),普通列为11列。

饿了么DBA经理虢国飞: 饿了么数据库架构变迁

饿了么DBA经理虢国飞针对了一些中小型公司没有高大上的工具,如何才能做好数据库架构提出了一些探讨。并分享了饿了么在数据库架构方面的调整变化,以及每个阶段所面临的问题和应对策略;包括跨机房的数据搬迁和升级、数据库面临的瓶颈、数据库拆分的方案、迁移过程的灰度和回滚方案、数据校验等机制。

图片描述

饿了么DBA经理 虢国飞

在饿了么的数据架构方面的调整,开始阶段数据库架构,存在较多的问题:磁盘的不足、主从延时、连接数不足、SlowSQL打垮集群、无从自动容机制等。

图片描述

在垂直拆分阶段为了满足300万单的容量规划而做的架构调整,主要做了以下改进:1.将核心业务集群从一套拆分到5套;2.根据收集的数据规划每个集群的Instance数量,一共分19个;3.最大难点就是如何有效的推动业务改造。在Sharding阶段改进如下:1.将数据按2个维度进行拆分,支持用户和商家两个方向的查询;2.将核心DB的表Sharding成120个分片,分配到12套装集群里面。

七牛云技术总监陈超:InfluxDB的架构演进

七牛云技术总监陈超,一直专注于分布式计算与机器学习等领域,有非常丰富的分布式系统设计与实现的经验,在分布式数据库方面也有深入研究。本次分享主要介绍的是InfluxDB的原理与架构,并且会指出InfluxDB存在的“坑”。

图片描述

七牛云技术总监 陈超

首先给我们带来了InfluxDB在DB—Engines Ranking of Time Series DBMS 相关排名,如下:

图片描述

主要从InfluxDB的基础概念、如何使用InfluxDB、集群设计和存储引擎几方面进行了详细分析与介绍。

大会直播地址:http://special.csdncms.csdn.net/SDCC2016/

这篇关于【SDCC 2016现场】数据库核心技术与实战应用峰会实录(下)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/266795

相关文章

分布式锁在Spring Boot应用中的实现过程

《分布式锁在SpringBoot应用中的实现过程》文章介绍在SpringBoot中通过自定义Lock注解、LockAspect切面和RedisLockUtils工具类实现分布式锁,确保多实例并发操作... 目录Lock注解LockASPect切面RedisLockUtils工具类总结在现代微服务架构中,分布

精选20个好玩又实用的的Python实战项目(有图文代码)

《精选20个好玩又实用的的Python实战项目(有图文代码)》文章介绍了20个实用Python项目,涵盖游戏开发、工具应用、图像处理、机器学习等,使用Tkinter、PIL、OpenCV、Kivy等库... 目录① 猜字游戏② 闹钟③ 骰子模拟器④ 二维码⑤ 语言检测⑥ 加密和解密⑦ URL缩短⑧ 音乐播放

Python标准库之数据压缩和存档的应用详解

《Python标准库之数据压缩和存档的应用详解》在数据处理与存储领域,压缩和存档是提升效率的关键技术,Python标准库提供了一套完整的工具链,下面小编就来和大家简单介绍一下吧... 目录一、核心模块架构与设计哲学二、关键模块深度解析1.tarfile:专业级归档工具2.zipfile:跨平台归档首选3.

Oracle数据库定时备份脚本方式(Linux)

《Oracle数据库定时备份脚本方式(Linux)》文章介绍Oracle数据库自动备份方案,包含主机备份传输与备机解压导入流程,强调需提前全量删除原库数据避免报错,并需配置无密传输、定时任务及验证脚本... 目录说明主机脚本备机上自动导库脚本整个自动备份oracle数据库的过程(建议全程用root用户)总结

SQL Server跟踪自动统计信息更新实战指南

《SQLServer跟踪自动统计信息更新实战指南》本文详解SQLServer自动统计信息更新的跟踪方法,推荐使用扩展事件实时捕获更新操作及详细信息,同时结合系统视图快速检查统计信息状态,重点强调修... 目录SQL Server 如何跟踪自动统计信息更新:深入解析与实战指南 核心跟踪方法1️⃣ 利用系统目录

使用IDEA部署Docker应用指南分享

《使用IDEA部署Docker应用指南分享》本文介绍了使用IDEA部署Docker应用的四步流程:创建Dockerfile、配置IDEADocker连接、设置运行调试环境、构建运行镜像,并强调需准备本... 目录一、创建 dockerfile 配置文件二、配置 IDEA 的 Docker 连接三、配置 Do

深入浅出SpringBoot WebSocket构建实时应用全面指南

《深入浅出SpringBootWebSocket构建实时应用全面指南》WebSocket是一种在单个TCP连接上进行全双工通信的协议,这篇文章主要为大家详细介绍了SpringBoot如何集成WebS... 目录前言为什么需要 WebSocketWebSocket 是什么Spring Boot 如何简化 We

java中pdf模版填充表单踩坑实战记录(itextPdf、openPdf、pdfbox)

《java中pdf模版填充表单踩坑实战记录(itextPdf、openPdf、pdfbox)》:本文主要介绍java中pdf模版填充表单踩坑的相关资料,OpenPDF、iText、PDFBox是三... 目录准备Pdf模版方法1:itextpdf7填充表单(1)加入依赖(2)代码(3)遇到的问题方法2:pd

Java Stream流之GroupBy的用法及应用场景

《JavaStream流之GroupBy的用法及应用场景》本教程将详细介绍如何在Java中使用Stream流的groupby方法,包括基本用法和一些常见的实际应用场景,感兴趣的朋友一起看看吧... 目录Java Stream流之GroupBy的用法1. 前言2. 基础概念什么是 GroupBy?Stream

python中列表应用和扩展性实用详解

《python中列表应用和扩展性实用详解》文章介绍了Python列表的核心特性:有序数据集合,用[]定义,元素类型可不同,支持迭代、循环、切片,可执行增删改查、排序、推导式及嵌套操作,是常用的数据处理... 目录1、列表定义2、格式3、列表是可迭代对象4、列表的常见操作总结1、列表定义是处理一组有序项目的