【SDCC 2016现场】数据库核心技术与实战应用峰会实录(下)

2023-10-23 08:50

本文主要是介绍【SDCC 2016现场】数据库核心技术与实战应用峰会实录(下),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

【SDCC 2016现场】数据库核心技术与实战应用峰会实录(上)

摘要:数据库核心技术与实战应用峰会下午继续进行中,来自上海热璞CTO金官丁、阿里巴巴高级技术专家沈春辉、AdMaster技术副总裁兼总架构师卢亿雷、饿了么DBA经历虢国飞、七牛云技术总监陈超详细剖析了各自在数据库领域的实践经验。

【CSDN现场报道】2016年3月18日-19日,由CSDN重磅打造的互联网应用架构实战峰会、数据库核心技术与实战应用峰会在上海光大会展中心国际大酒店隆重召开。作为SDCC 2016(中国软件开发者大会)系列技术峰会的一部分,大会秉承干货实料的内容原则,这两场峰会将邀请业内顶尖的架构师和技术专家,共同探讨高可用/高并发系统架构设计、新技术应用、移动应用架构、微服务、智能硬件架构、云数据库实战、新一代数据库平台、产品选型、性能调优、大数据应用实战等领域的话题与技术。

下午13:30,数据库核心技术与实战应用峰会在AdMaster技术副总裁兼总架构师,大数据资深专家卢亿雷的主持下继续进行,来自上海热璞、阿里巴巴、AdMaster、饿了么、七牛的资深数据库专家分享了各自在数据库领域中的实战经验。

上海热璞网络科技有限公司CTO 金官丁:分布式数据库技术架构的演变与发展方向

金官丁老师这次主要分享关于分布式数据库技术架构分类、企业为何需要分布式数据库、分布式数据库的技术架构演变、及分布式数据库技术架构的未来方向。

图片描述

上海热璞网络科技有限公司CTO 金官丁

首先详细介绍了分布式数据库技术架构的分类。并针对企业为何需要分布式数据库进行了深度的剖析,他认为,企业支撑有限、成本过高和依赖严重,都是造成企业需要分布式数据库的原因。

图片描述

金官丁老师还列举了电信行业、快递物流行业等典型的企业业务场景,深入分析了这些典型企业的业务流程。他就分布式数据库的技术架构未来发展方向,提出了自己的观点,并对数据库行业十三五进行了深度的预测:中小企业数据库公有云化、实力派中型和大型企业数据库私有云化、分析型数据库、自主研发与开源数据库融合毒霸天下、分布式数据库技术像虚拟化一样普及、国产数据库进入死亡期这六大预测。

阿里巴巴高级技术专家 沈春辉:高可用HBase的技术实践

阿里巴巴高级技术专家沈春辉带来了《高可用HBase的技术实践》,在本次演讲中主要分享阿里在保障HBase服务高可用方面的一些工作,包括MTTR、MTBF、冗余切换等角度的实践与软件改进,让大家深度的了解HBase。

图片描述

阿里巴巴高级技术专家 沈春辉

对HBase在阿里的应用场景:
1.结构化数据在线存取;2.高吞吐数据写入;3.海量数据实时写入与查询;4.实时流计算的底层存储。

图片描述

从专业的角度深度分析了MTBF和MTTR,集群规模、系统压力、故障范围、故障缘由都是影响MTTR因素,而升级、变更、迁移、容量、用户不规则活动、软件不够健壮则是影响MTBF的因素。在演讲的尾声,又对冗余切换进行了深入的讲解。

AdMaster技术副总裁兼总架构师卢亿雷:ElasticSearch分析与实践

作为今天数据库峰会的主持人,AdMaster技术副总裁兼总架构师卢亿雷为我们带来了《ElasticSearch分析与实践》的主题分享,主要从ElasticSearch特点及生态圈、Lucence原理、ElasticSearch架构和插件、ElasticSearch管理和监控工具、ElasticSearch应用案例、ELK实践这六大方面进行分享。

图片描述

AdMaster技术副总裁兼总架构师 卢亿雷

针对ElasticSearch架构和插件:分词插件、同步插件、数据传输插件、脚本插件、Alert和Shield进行了详细的介绍。

图片描述

着重分析了ElasticSearch应用案例的测试条件:
1.记录条数分为100亿以内和1000亿条
2. 服务器数量为70台,配置为:CPU 12核,内存96G,硬盘48T
3. 测试语句:select count(*) from test where age > 25 and gender 0 and os > “500” and sc in
(“0001009”,”0002036”,”0016030”,”…”) or bs>585 and group
by age,gender,os,bs
4.总共14列(200列):动态列为3列(多值列),普通列为11列。

饿了么DBA经理虢国飞: 饿了么数据库架构变迁

饿了么DBA经理虢国飞针对了一些中小型公司没有高大上的工具,如何才能做好数据库架构提出了一些探讨。并分享了饿了么在数据库架构方面的调整变化,以及每个阶段所面临的问题和应对策略;包括跨机房的数据搬迁和升级、数据库面临的瓶颈、数据库拆分的方案、迁移过程的灰度和回滚方案、数据校验等机制。

图片描述

饿了么DBA经理 虢国飞

在饿了么的数据架构方面的调整,开始阶段数据库架构,存在较多的问题:磁盘的不足、主从延时、连接数不足、SlowSQL打垮集群、无从自动容机制等。

图片描述

在垂直拆分阶段为了满足300万单的容量规划而做的架构调整,主要做了以下改进:1.将核心业务集群从一套拆分到5套;2.根据收集的数据规划每个集群的Instance数量,一共分19个;3.最大难点就是如何有效的推动业务改造。在Sharding阶段改进如下:1.将数据按2个维度进行拆分,支持用户和商家两个方向的查询;2.将核心DB的表Sharding成120个分片,分配到12套装集群里面。

七牛云技术总监陈超:InfluxDB的架构演进

七牛云技术总监陈超,一直专注于分布式计算与机器学习等领域,有非常丰富的分布式系统设计与实现的经验,在分布式数据库方面也有深入研究。本次分享主要介绍的是InfluxDB的原理与架构,并且会指出InfluxDB存在的“坑”。

图片描述

七牛云技术总监 陈超

首先给我们带来了InfluxDB在DB—Engines Ranking of Time Series DBMS 相关排名,如下:

图片描述

主要从InfluxDB的基础概念、如何使用InfluxDB、集群设计和存储引擎几方面进行了详细分析与介绍。

大会直播地址:http://special.csdncms.csdn.net/SDCC2016/

这篇关于【SDCC 2016现场】数据库核心技术与实战应用峰会实录(下)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/266795

相关文章

SpringBoot中四种AOP实战应用场景及代码实现

《SpringBoot中四种AOP实战应用场景及代码实现》面向切面编程(AOP)是Spring框架的核心功能之一,它通过预编译和运行期动态代理实现程序功能的统一维护,在SpringBoot应用中,AO... 目录引言场景一:日志记录与性能监控业务需求实现方案使用示例扩展:MDC实现请求跟踪场景二:权限控制与

MySQL数据库约束深入详解

《MySQL数据库约束深入详解》:本文主要介绍MySQL数据库约束,在MySQL数据库中,约束是用来限制进入表中的数据类型的一种技术,通过使用约束,可以确保数据的准确性、完整性和可靠性,需要的朋友... 目录一、数据库约束的概念二、约束类型三、NOT NULL 非空约束四、DEFAULT 默认值约束五、UN

C语言中位操作的实际应用举例

《C语言中位操作的实际应用举例》:本文主要介绍C语言中位操作的实际应用,总结了位操作的使用场景,并指出了需要注意的问题,如可读性、平台依赖性和溢出风险,文中通过代码介绍的非常详细,需要的朋友可以参... 目录1. 嵌入式系统与硬件寄存器操作2. 网络协议解析3. 图像处理与颜色编码4. 高效处理布尔标志集合

Java中的Lambda表达式及其应用小结

《Java中的Lambda表达式及其应用小结》Java中的Lambda表达式是一项极具创新性的特性,它使得Java代码更加简洁和高效,尤其是在集合操作和并行处理方面,:本文主要介绍Java中的La... 目录前言1. 什么是Lambda表达式?2. Lambda表达式的基本语法例子1:最简单的Lambda表

Python结合PyWebView库打造跨平台桌面应用

《Python结合PyWebView库打造跨平台桌面应用》随着Web技术的发展,将HTML/CSS/JavaScript与Python结合构建桌面应用成为可能,本文将系统讲解如何使用PyWebView... 目录一、技术原理与优势分析1.1 架构原理1.2 核心优势二、开发环境搭建2.1 安装依赖2.2 验

Java字符串操作技巧之语法、示例与应用场景分析

《Java字符串操作技巧之语法、示例与应用场景分析》在Java算法题和日常开发中,字符串处理是必备的核心技能,本文全面梳理Java中字符串的常用操作语法,结合代码示例、应用场景和避坑指南,可快速掌握字... 目录引言1. 基础操作1.1 创建字符串1.2 获取长度1.3 访问字符2. 字符串处理2.1 子字

数据库面试必备之MySQL中的乐观锁与悲观锁

《数据库面试必备之MySQL中的乐观锁与悲观锁》:本文主要介绍数据库面试必备之MySQL中乐观锁与悲观锁的相关资料,乐观锁适用于读多写少的场景,通过版本号检查避免冲突,而悲观锁适用于写多读少且对数... 目录一、引言二、乐观锁(一)原理(二)应用场景(三)示例代码三、悲观锁(一)原理(二)应用场景(三)示例

Python列表去重的4种核心方法与实战指南详解

《Python列表去重的4种核心方法与实战指南详解》在Python开发中,处理列表数据时经常需要去除重复元素,本文将详细介绍4种最实用的列表去重方法,有需要的小伙伴可以根据自己的需要进行选择... 目录方法1:集合(set)去重法(最快速)方法2:顺序遍历法(保持顺序)方法3:副本删除法(原地修改)方法4:

在Spring Boot中浅尝内存泄漏的实战记录

《在SpringBoot中浅尝内存泄漏的实战记录》本文给大家分享在SpringBoot中浅尝内存泄漏的实战记录,结合实例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录使用静态集合持有对象引用,阻止GC回收关键点:可执行代码:验证:1,运行程序(启动时添加JVM参数限制堆大小):2,访问 htt

Node.js 数据库 CRUD 项目示例详解(完美解决方案)

《Node.js数据库CRUD项目示例详解(完美解决方案)》:本文主要介绍Node.js数据库CRUD项目示例详解(完美解决方案),本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考... 目录项目结构1. 初始化项目2. 配置数据库连接 (config/db.js)3. 创建模型 (models/