阅读笔记(四)NoSQL的选择指引《NoSQL database systems: a survey and decision guidance》

本文主要是介绍阅读笔记(四)NoSQL的选择指引《NoSQL database systems: a survey and decision guidance》,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一. 前言

  《NoSQL database systems: a survey and decision guidance》是一篇很好的综述类论文,详细的论述了NoSQL的特点和各种不同NoSQL数据库的选择依据。
  传统的关系型数据库(relational database management systems ,RDBMSs)可以在保证一致性、可靠性、稳定性的前提下提供强有力的数据存储、查询功能,这得益于他的设计模式:稳定可靠的数据结构。但是随着大数据时代的到来,RDBMSs难以驾驭越来越庞大的数据,这促使了非关系型数据库NoSQL的出现。NoSQL有很多不同的种类,但是基本都提供了很好的横向扩展性和高可用性,同时也牺牲了一定的查找能力和一致性保证。

二. NoSQL的常见种类

1. key-value键值存储数据库

  键值数据库由一系列的key-value组成,由于这种简单的结构,他们往往也只能提供get和put的操作,即CRUD(Create, Read, Update,Delete)。其优点在于简化抽象的数据结构使其易于分割和查询,因此该种数据库可以实现极低的延迟和极高的吞吐率。然而,如果需求更复杂的操作,如范围查找,这种数据库往往不是很给力。

2. 文件数据库

  文件数据库通常也是k-v的形式,区别在于这里的value不再是简简单单的数值而往往是json文件。这种存储方式使得相对于k-v数据库来说更为灵活,可以方便的查找数据,尤其是查找部分数据。

k-v数据库和文件数据库

3. 宽列数据库

  宽列数据库和以上两种数据库最大的不同在于存储方式上:按列存储数据而不是按行存储。这种做法对于存在很多稀疏列的数据集合的存储上有着极为显著的优势。其最大的优势在于高度的数据压缩和查询指定项数据或者数据分析时的极高效率。在实现层面上类似于多级分布式有序map。具体存储方式如下图所示:
宽列数据库

4. 其他数据库

  关于其他数据库如图数据库等不属于本文讨论重点,这里略过。

三. NoSQL的关键技术

1. 分片技术

  在关系型数据库中也有使用一些分布式存储,如Oracle的RAC,IBM的DB2 pureScale。它们依赖于共享磁盘架构,即所有数据库节点需要接入中央数据库进行同步(NAS或SAN)。因此他们可以保持良好的一致性,但是难以扩展。相反的,在NoSQL中,通常使用的技术称为无共享架构(Shared-Noting Architecture),即组成系统的各个服务器拥有私有内存和磁盘空间,并通过网络连接,由此实现了高扩展性。
  常用的基本分布式分片技术包括范围分片,哈希分片和实体组分片。
(1)范围分片是将数据排序,将连续的值切片存储,在BigTable, HBase, Hypertable等宽列数据库和部分文件数据库如MongoDB, RethinkDB, Espresso, DocumentDB中常见。
(2)哈希分片顾名思义是采取哈希散列均匀存储,这种方式最大的缺点在于查找较为困难,但是分片非常容易,在k-v数据库中常出现,在 一些宽列数据库如Cassandra和Azure Tables中有使用。
(3)实体组分片是为了方便在局部地区方便的进行数据交换,在G-Store, MegaStore , Relational Cloud , Cloud SQL Server中出现。

2. 数据复制

  就CAP理论而言,传统关系型数据库是不需要考虑的,一般均满足CA。而NoSQL则难以避免P的出现,因此需要根据需求在C和A中进行取舍。这其中数据的复制就是很重要的一项技术。根据不同的策略,这里主要的抉择在于何时更新以及在哪儿更新数据。
  “何时更新”通常有两种选择:主动的同步(Eager synchronous)复制以及采用消极的异步复制(lazy asynchronous)模式。采用eager模式的好处在于利于保持一致性,但是由于需要等待复制会带来较大的写延迟损耗并降低了可用性。采用lazy模式则会更快,但是难于实现一致性。
  “在哪儿更新”意为采用主从复制机制(master-slave primary copy scheme)还是多主机机制(multi-master approach)。主从机制最大的问题在于为了保证master崩溃之后如何建立新的Master,因此会有较为复杂的机制。而多主机则相反,主要是需要解决如何检测或者防止改变的冲突,常用解决方法有版本控制,向量钟,gossip和读修复。

3. 数据查询

  NoSQL数据库的查询能力取决于他们的分布式模型、一致性情况和数据模型。每个NoSQL都可以支持基本的key值查找,但是过滤查找或者说范围查找则通常对于范围分区系统较易实现。而对于数据的分析NoSQL则有一些不同,如MongoDB, Riak, CouchDB在内部实现了数据的分析,而对于 Cassandra 和 HBase,通常采用外部分析平台如Hadoop, Spark 和 Flink,另外批处理的分析工具MapReduce也有较好的表现。下图是NoSQL数据库的主要技术和函数及非函数系统特性的支持。

在这里插入图片描述

四. NoSQL的选择

  这里需要明确一点就是,之所以有这么多不同的NoSQL,是因为没有哪一种数据库是万能通用的,没有哪种数据库可以一劳永逸满足所有需求。因此,我们选用或者自己设计数据库的时候,需要根据需求谨慎的进行选择、构建。这里给出了三幅关于NoSQL的特性的图以及选择树,供于粗略的判断选取使用。
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

五. 总结

  本文大致总结了《NoSQL database systems: a survey and decision guidance》一文中的主要观点和提纲,用以记录和后续查阅使用。该文章中所有引用文献均是极好的分布式学习资料,都值得认真品读。同样的,该文也值得多次反复阅读和学习,一定会获益良多。

这篇关于阅读笔记(四)NoSQL的选择指引《NoSQL database systems: a survey and decision guidance》的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1138053

相关文章

MySQL的JDBC编程详解

《MySQL的JDBC编程详解》:本文主要介绍MySQL的JDBC编程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录前言一、前置知识1. 引入依赖2. 认识 url二、JDBC 操作流程1. JDBC 的写操作2. JDBC 的读操作总结前言本文介绍了mysq

java.sql.SQLTransientConnectionException连接超时异常原因及解决方案

《java.sql.SQLTransientConnectionException连接超时异常原因及解决方案》:本文主要介绍java.sql.SQLTransientConnectionExcep... 目录一、引言二、异常信息分析三、可能的原因3.1 连接池配置不合理3.2 数据库负载过高3.3 连接泄漏

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

MySQL中On duplicate key update的实现示例

《MySQL中Onduplicatekeyupdate的实现示例》ONDUPLICATEKEYUPDATE是一种MySQL的语法,它在插入新数据时,如果遇到唯一键冲突,则会执行更新操作,而不是抛... 目录1/ ON DUPLICATE KEY UPDATE的简介2/ ON DUPLICATE KEY UP

MySQL分库分表的实践示例

《MySQL分库分表的实践示例》MySQL分库分表适用于数据量大或并发压力高的场景,核心技术包括水平/垂直分片和分库,需应对分布式事务、跨库查询等挑战,通过中间件和解决方案实现,最佳实践为合理策略、备... 目录一、分库分表的触发条件1.1 数据量阈值1.2 并发压力二、分库分表的核心技术模块2.1 水平分

Python与MySQL实现数据库实时同步的详细步骤

《Python与MySQL实现数据库实时同步的详细步骤》在日常开发中,数据同步是一项常见的需求,本篇文章将使用Python和MySQL来实现数据库实时同步,我们将围绕数据变更捕获、数据处理和数据写入这... 目录前言摘要概述:数据同步方案1. 基本思路2. mysql Binlog 简介实现步骤与代码示例1

使用shardingsphere实现mysql数据库分片方式

《使用shardingsphere实现mysql数据库分片方式》本文介绍如何使用ShardingSphere-JDBC在SpringBoot中实现MySQL水平分库,涵盖分片策略、路由算法及零侵入配置... 目录一、ShardingSphere 简介1.1 对比1.2 核心概念1.3 Sharding-Sp

MySQL 表空却 ibd 文件过大的问题及解决方法

《MySQL表空却ibd文件过大的问题及解决方法》本文给大家介绍MySQL表空却ibd文件过大的问题及解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考... 目录一、问题背景:表空却 “吃满” 磁盘的怪事二、问题复现:一步步编程还原异常场景1. 准备测试源表与数据

Mac电脑如何通过 IntelliJ IDEA 远程连接 MySQL

《Mac电脑如何通过IntelliJIDEA远程连接MySQL》本文详解Mac通过IntelliJIDEA远程连接MySQL的步骤,本文通过图文并茂的形式给大家介绍的非常详细,感兴趣的朋友跟... 目录MAC电脑通过 IntelliJ IDEA 远程连接 mysql 的详细教程一、前缀条件确认二、打开 ID

MySQL的配置文件详解及实例代码

《MySQL的配置文件详解及实例代码》MySQL的配置文件是服务器运行的重要组成部分,用于设置服务器操作的各种参数,下面:本文主要介绍MySQL配置文件的相关资料,文中通过代码介绍的非常详细,需要... 目录前言一、配置文件结构1.[mysqld]2.[client]3.[mysql]4.[mysqldum