【SDCC 2016现场】数据库核心技术与实战应用峰会实录(下)

2023-10-23 08:50

本文主要是介绍【SDCC 2016现场】数据库核心技术与实战应用峰会实录(下),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

【SDCC 2016现场】数据库核心技术与实战应用峰会实录(上)

摘要:数据库核心技术与实战应用峰会下午继续进行中,来自上海热璞CTO金官丁、阿里巴巴高级技术专家沈春辉、AdMaster技术副总裁兼总架构师卢亿雷、饿了么DBA经历虢国飞、七牛云技术总监陈超详细剖析了各自在数据库领域的实践经验。

【CSDN现场报道】2016年3月18日-19日,由CSDN重磅打造的互联网应用架构实战峰会、数据库核心技术与实战应用峰会在上海光大会展中心国际大酒店隆重召开。作为SDCC 2016(中国软件开发者大会)系列技术峰会的一部分,大会秉承干货实料的内容原则,这两场峰会将邀请业内顶尖的架构师和技术专家,共同探讨高可用/高并发系统架构设计、新技术应用、移动应用架构、微服务、智能硬件架构、云数据库实战、新一代数据库平台、产品选型、性能调优、大数据应用实战等领域的话题与技术。

下午13:30,数据库核心技术与实战应用峰会在AdMaster技术副总裁兼总架构师,大数据资深专家卢亿雷的主持下继续进行,来自上海热璞、阿里巴巴、AdMaster、饿了么、七牛的资深数据库专家分享了各自在数据库领域中的实战经验。

上海热璞网络科技有限公司CTO 金官丁:分布式数据库技术架构的演变与发展方向

金官丁老师这次主要分享关于分布式数据库技术架构分类、企业为何需要分布式数据库、分布式数据库的技术架构演变、及分布式数据库技术架构的未来方向。

图片描述

上海热璞网络科技有限公司CTO 金官丁

首先详细介绍了分布式数据库技术架构的分类。并针对企业为何需要分布式数据库进行了深度的剖析,他认为,企业支撑有限、成本过高和依赖严重,都是造成企业需要分布式数据库的原因。

图片描述

金官丁老师还列举了电信行业、快递物流行业等典型的企业业务场景,深入分析了这些典型企业的业务流程。他就分布式数据库的技术架构未来发展方向,提出了自己的观点,并对数据库行业十三五进行了深度的预测:中小企业数据库公有云化、实力派中型和大型企业数据库私有云化、分析型数据库、自主研发与开源数据库融合毒霸天下、分布式数据库技术像虚拟化一样普及、国产数据库进入死亡期这六大预测。

阿里巴巴高级技术专家 沈春辉:高可用HBase的技术实践

阿里巴巴高级技术专家沈春辉带来了《高可用HBase的技术实践》,在本次演讲中主要分享阿里在保障HBase服务高可用方面的一些工作,包括MTTR、MTBF、冗余切换等角度的实践与软件改进,让大家深度的了解HBase。

图片描述

阿里巴巴高级技术专家 沈春辉

对HBase在阿里的应用场景:
1.结构化数据在线存取;2.高吞吐数据写入;3.海量数据实时写入与查询;4.实时流计算的底层存储。

图片描述

从专业的角度深度分析了MTBF和MTTR,集群规模、系统压力、故障范围、故障缘由都是影响MTTR因素,而升级、变更、迁移、容量、用户不规则活动、软件不够健壮则是影响MTBF的因素。在演讲的尾声,又对冗余切换进行了深入的讲解。

AdMaster技术副总裁兼总架构师卢亿雷:ElasticSearch分析与实践

作为今天数据库峰会的主持人,AdMaster技术副总裁兼总架构师卢亿雷为我们带来了《ElasticSearch分析与实践》的主题分享,主要从ElasticSearch特点及生态圈、Lucence原理、ElasticSearch架构和插件、ElasticSearch管理和监控工具、ElasticSearch应用案例、ELK实践这六大方面进行分享。

图片描述

AdMaster技术副总裁兼总架构师 卢亿雷

针对ElasticSearch架构和插件:分词插件、同步插件、数据传输插件、脚本插件、Alert和Shield进行了详细的介绍。

图片描述

着重分析了ElasticSearch应用案例的测试条件:
1.记录条数分为100亿以内和1000亿条
2. 服务器数量为70台,配置为:CPU 12核,内存96G,硬盘48T
3. 测试语句:select count(*) from test where age > 25 and gender 0 and os > “500” and sc in
(“0001009”,”0002036”,”0016030”,”…”) or bs>585 and group
by age,gender,os,bs
4.总共14列(200列):动态列为3列(多值列),普通列为11列。

饿了么DBA经理虢国飞: 饿了么数据库架构变迁

饿了么DBA经理虢国飞针对了一些中小型公司没有高大上的工具,如何才能做好数据库架构提出了一些探讨。并分享了饿了么在数据库架构方面的调整变化,以及每个阶段所面临的问题和应对策略;包括跨机房的数据搬迁和升级、数据库面临的瓶颈、数据库拆分的方案、迁移过程的灰度和回滚方案、数据校验等机制。

图片描述

饿了么DBA经理 虢国飞

在饿了么的数据架构方面的调整,开始阶段数据库架构,存在较多的问题:磁盘的不足、主从延时、连接数不足、SlowSQL打垮集群、无从自动容机制等。

图片描述

在垂直拆分阶段为了满足300万单的容量规划而做的架构调整,主要做了以下改进:1.将核心业务集群从一套拆分到5套;2.根据收集的数据规划每个集群的Instance数量,一共分19个;3.最大难点就是如何有效的推动业务改造。在Sharding阶段改进如下:1.将数据按2个维度进行拆分,支持用户和商家两个方向的查询;2.将核心DB的表Sharding成120个分片,分配到12套装集群里面。

七牛云技术总监陈超:InfluxDB的架构演进

七牛云技术总监陈超,一直专注于分布式计算与机器学习等领域,有非常丰富的分布式系统设计与实现的经验,在分布式数据库方面也有深入研究。本次分享主要介绍的是InfluxDB的原理与架构,并且会指出InfluxDB存在的“坑”。

图片描述

七牛云技术总监 陈超

首先给我们带来了InfluxDB在DB—Engines Ranking of Time Series DBMS 相关排名,如下:

图片描述

主要从InfluxDB的基础概念、如何使用InfluxDB、集群设计和存储引擎几方面进行了详细分析与介绍。

大会直播地址:http://special.csdncms.csdn.net/SDCC2016/

这篇关于【SDCC 2016现场】数据库核心技术与实战应用峰会实录(下)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/266795

相关文章

MyBatis分页查询实战案例完整流程

《MyBatis分页查询实战案例完整流程》MyBatis是一个强大的Java持久层框架,支持自定义SQL和高级映射,本案例以员工工资信息管理为例,详细讲解如何在IDEA中使用MyBatis结合Page... 目录1. MyBATis框架简介2. 分页查询原理与应用场景2.1 分页查询的基本原理2.1.1 分

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解

《使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解》本文详细介绍了如何使用Python通过ncmdump工具批量将.ncm音频转换为.mp3的步骤,包括安装、配置ffmpeg环... 目录1. 前言2. 安装 ncmdump3. 实现 .ncm 转 .mp34. 执行过程5. 执行结

PHP应用中处理限流和API节流的最佳实践

《PHP应用中处理限流和API节流的最佳实践》限流和API节流对于确保Web应用程序的可靠性、安全性和可扩展性至关重要,本文将详细介绍PHP应用中处理限流和API节流的最佳实践,下面就来和小编一起学习... 目录限流的重要性在 php 中实施限流的最佳实践使用集中式存储进行状态管理(如 Redis)采用滑动

SpringBoot 多环境开发实战(从配置、管理与控制)

《SpringBoot多环境开发实战(从配置、管理与控制)》本文详解SpringBoot多环境配置,涵盖单文件YAML、多文件模式、MavenProfile分组及激活策略,通过优先级控制灵活切换环境... 目录一、多环境开发基础(单文件 YAML 版)(一)配置原理与优势(二)实操示例二、多环境开发多文件版

Three.js构建一个 3D 商品展示空间完整实战项目

《Three.js构建一个3D商品展示空间完整实战项目》Three.js是一个强大的JavaScript库,专用于在Web浏览器中创建3D图形,:本文主要介绍Three.js构建一个3D商品展... 目录引言项目核心技术1. 项目架构与资源组织2. 多模型切换、交互热点绑定3. 移动端适配与帧率优化4. 可

深入浅出Spring中的@Autowired自动注入的工作原理及实践应用

《深入浅出Spring中的@Autowired自动注入的工作原理及实践应用》在Spring框架的学习旅程中,@Autowired无疑是一个高频出现却又让初学者头疼的注解,它看似简单,却蕴含着Sprin... 目录深入浅出Spring中的@Autowired:自动注入的奥秘什么是依赖注入?@Autowired

如何通过try-catch判断数据库唯一键字段是否重复

《如何通过try-catch判断数据库唯一键字段是否重复》在MyBatis+MySQL中,通过try-catch捕获唯一约束异常可避免重复数据查询,优点是减少数据库交互、提升并发安全,缺点是异常处理开... 目录1、原理2、怎么理解“异常走的是数据库错误路径,开销比普通逻辑分支稍高”?1. 普通逻辑分支 v

Python与MySQL实现数据库实时同步的详细步骤

《Python与MySQL实现数据库实时同步的详细步骤》在日常开发中,数据同步是一项常见的需求,本篇文章将使用Python和MySQL来实现数据库实时同步,我们将围绕数据变更捕获、数据处理和数据写入这... 目录前言摘要概述:数据同步方案1. 基本思路2. mysql Binlog 简介实现步骤与代码示例1

从原理到实战解析Java Stream 的并行流性能优化

《从原理到实战解析JavaStream的并行流性能优化》本文给大家介绍JavaStream的并行流性能优化:从原理到实战的全攻略,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的... 目录一、并行流的核心原理与适用场景二、性能优化的核心策略1. 合理设置并行度:打破默认阈值2. 避免装箱