复习总结

NoSQL数据库概述

• 保持数据的一致性（事务处理）

• 最小冗余

• 复杂查询如JOIN

• 成熟的技术

• 大量数据的写入处理

• 表结构变更及建立索引

• 字段不固定的应用

• 对简单查询需要快速返回结果的处理

• 易于数据的分散

• 提升性能和增大规模

• 模式自由

• 扩展性好

数据一致性理论

• 可用性： 一直可以正常的做读写操作。简单而言就是客户端一直可以正常访问并得到系统的正常响应。用户角度来看就是不会出现系统操作失败或者访问超时等问题

• 一致性：在分布式系统完成某写操作后任何读操作，都应该获取到该写操作写入的那个最新的值。相当于要求分布式系统中的各节点时时刻刻保持数据的一致性

• 分区容错性：指的分布式系统中的某个节点或者网络出现了故障的时候，整个系统仍然能对外提供满足一致性和可用性的服务，也就是说部分故障不影响整体使用

CAP三者不可兼得，该如何取舍？？？ ① CA: 优先保证一致性和可用性，放弃分区容错。 这也意味着放弃系统的扩展性，系统不再是分布式的，有违设计的初衷【关系型数据库】 ② CP: 优先保证一致性和分区容错性，放弃可用性。在数据一致性要求比较高的场合(譬如:Zookeeper，Hbase) 是比较常见的做法，一旦发生网络故障或者消息丢失，就会牺牲用户体验，等恢复之后用户才逐渐能访问【分布式数据库】 ③ AP: 优先保证可用性和分区容错性，放弃一致性。放弃一致性不是说一致性就不保证了，而是逐渐的变得一致【如：BASE】

• 假如A先写入了一个值到存储系统，存储系统保证后续A，B，C的读取操作都将返回最新值

• 单副本数据容易保证强一致性

• 多副本数据需要使用分布式事务协议

• 假如A先写入了一个值到存储系统，存储系统不能保证后续A，B，C的读取操作能读取到最新值

• 不一致性窗口：从A写入到后续操作A，B，C读取到最新值这一段时间

• 是弱一致性的一种特例

• 假如A首先write了一个值到存储系统，存储系统保证如果在A，B，C后续读取之前没有其它写操作更新同样的值的话，最终所有的读取操作都会读取到A写入的最新值

• 此种情况下，如果没有失败发生的话，“不一致性窗口”的大小依赖于以下的几个因素：交互延迟，系统的负载，以及复制技术中replica的个数（这个可以理解为master/salve模式中，salve的个数）

• 最终一致性方面最出名的系统可以说是DNS系统，当更新一个域名的IP以后，根据配置策略以及缓存控制策略的不同，最终所有的客户都会看到最新的值

• 如果Process A通知Process B它已经更新了数据，那么Process B的后续读取操作则读取A写入的最新值，而与A没有因果关系的C则可以最终一致性

• 如果Process A写入了最新的值，那么Process A的后续操作都会读取到最新值。但是其它用户可能要过一会才可以看到

• 此种一致性要求客户端和存储系统交互的整个会话阶段保证Read-your-writes consistency，Hibernate的session提供的一致性保证就属于此种一致性

• 此种一致性要求如果Process A已经读取了对象的某个值，那么后续操作将不会读取到更早的值

• 此种一致性保证系统会序列化执行一个Process中的所有写操作

• 响应时间上的损失：正常情况下，一个在线搜索引擎需要0.5秒内返回给用户相应的查询结果，但由于出现异常（比如系统部分机房发生断电或断网故障），查询结果的响应时间增加到了1~2秒

• 功能上的损失：正常情况下，在一个电子商务网站上进行购物，消费者几乎能够顺利地完成每一笔订单，但是在一些节日大促购物高峰的时候，由于消费者的购物行为激增，为了保护购物系统的稳定性，部分消费者可能会被引导到一个降级页面

例如：N=3，W=2, R=2 ，那么表示系统中数据有3个不同的副本，当进行写操作时，需要等待至少有2个副本完成了该写操作系统才会返回执行成功的状态，对于读操作，系统有同样的特性 由于R+ W>N,因此该系统是可以保证强一致性的

在关系型数据管理系统中，如果N=2，可以设置为W=2，R=1,这是比较强的一致性约束，写操作的性能比较低，因为系统需要2个节点上的数据都完成更新后才将确认结果返回给用户

• 如果要高的一致性，那么就配置N=W，R=1, 这个时候可用性特别是写操作的性能就会大大降低

• 如果想要高的可用性，那么此时就需要放松一致性的要求，此时可以配置W=1，这样使得写操作延迟最低，同时通过异步的机制更新剩余的N-W个节点

• W = 1， R = N ，对写操作要求高性能高可用

• R = 1 ， W = N ，对读操作要求高性能高可用，比如类似cache之类业务

• W = Q, R = Q where Q = N / 2 + 1 一般应用适用，读写性能之间取得平衡，如N=3 ， W=2 ， R=2

• 参与者就是实际处理事务的机器

• 协调者就是其中一台单独的处理分布式事务的机器

• 在请求阶段，协调者将通知事务参与者准备提交或取消事务，然后进入表决过程

• 在表决过程中，参与者将告知协调者自己的决策：同意（事务参与者本地作业执行成功）或取消（本地作业执行故障）

• 协调者将基于第一个阶段的投票结果进行决策：提交或取消。当且仅当所有的参与者同意提交事务协调者才通知所有的参与者提交事务，否则协调者将通知所有的参与者取消事务

• 实现简单

• 同步阻塞问题：执行过程中，所有参与节点都是事务阻塞型的。当参与者占有公共资源时，其他第三方节点访问公共资源不得不处于阻塞状态。

• 单点故障：由于协调者的重要性，一旦协调者发生故障。参与者会一直阻塞下去。尤其在第二阶段，协调者发生故障，那么所有的参与者还都处于锁定事务资源的状态中，而无法继续完成事务操作。（如果是协调者挂掉，可以重新选举一个协调者，但是无法解决因为协调者宕机导致的参与者处于阻塞状态的问题）

• 数据不一致：在二阶段提交的阶段二中，当协调者向参与者发送commit请求之后，发生了局部网络异常或者在发送commit请求过程中协调者发生了故障，这回导致只有一部分参与者接受到了commit请求。而在这部分参与者接到commit请求之后就会执行commit操作。但是其他部分未接到commit请求的机器则无法执行事务提交。于是整个分布式系统便出现了数据不一致性的现象

• 二阶段无法解决的问题：协调者再发出commit消息之后宕机，而唯一接收到这条消息的参与者同时也宕机了。那么即使协调者通过选举协议产生了新的协调者，这条事务的状态也是不确定的，没人知道事务是否被已经提交

文档型数据库——MongoDB

简答

• 事件记录

• 内容管理系统及博客平台，用来管理用户评论、用户注册、用户配置和面向Web文档

• 网站分析与实时分析，用来存储页面浏览量或独立访客数会非常方便，而且可以无需改变模式即可新增度量标准

• 电子商务应用程序，以存储产品和订单

• 包含多项操作的复杂事务，文档数据库不适合执行跨文档的原子操作

• 查询持续变化的聚合结构，虽然文档数据库对模式不施加任何限制，但是如果要即时查询这些持续可变的实体，那么所用的查询命令也要不断变化，所以就需要以最低级别的粒度来保存聚合，这实际上就等于要统一数据格式

• 值既可以是简单的数据类型，如字符串、数字和日期等

• 也可以是复杂的类型，如有序列表和关联对象

• 使用户能够将所有相关的数据存储在一个文档中，避免在外围使用连接

• 保证了文档级别的原子性

• 使用隔离操作符隔离影响多个文档的写操作

• 索引：支持通用辅助索引

• 存储JavaScript

• 聚合：支持MapReduce和其他聚合工具

• 固定集合：集合的大小是有上限的，这一点对于日志特别有用

• 文件存储：支持一种容易使用的协议存储大型文件和文件的元数据

数据模型

列族数据库——Hbase

简答

• HBase在社交网络公司内部和周围各种各样的需求中找到了用武之地

• 从存储个人之间的通信信息，到通信信息分析，HBase成为了Facebook、Twitter等公司的关键基础设施

• 抓取增量数据：使用HBase 作为数据存储，抓取来自各种数据源的增量数据，如抓取用户交互数据，以备之后进行分析、处理

• 内容服务：传统数据库最主要的使用场合之一是为用户提供内容服务，如URL短链接服务，可以HBase为基础，存储大量的短链接以及和原始长链接的映射关系

• 信息交换：Facebook的短信平台每天交换数十亿条短信，HBase可以很好的满足该平台的需求：高的写吞吐量，极大的表，数据中心的强一致性

• HBase只有简单的字符串类型，所有类型都由用户自己处理，它只保存字符串

• 关系数据库有丰富的类型选择和存储方式

• HBase操作只有很简单的插入、查询、删除、清空等，表和表之间是分离的，没有复杂的表和表之间的关系，所以也不能也没有必要实现表和表之间的关联等操作

• 传统的关系数据通常有各种各样的函数、连接操作

• HBase是基于列存储的，每个列族都有几个文件保存，不同列族的文件是分离的

• 传统的关系数据库是基于表格结构和行模式保存的

• HBase的更新正确来说应该不叫更新，而且一个主键或者列对应的新的版本，而它旧有的版本仍然会保留，所以它实际上是插入了新的数据

• 传统关系数据库里面是替换修改

• HBase和BigTable这类分布式数据库就是直接为了这个目的开发出来的，能够轻易的增加或者减少（在硬件错误的时候）硬件数量，而且对错误的兼容性比较高

• 传统的关系数据库通常需要增加中间层才能实现类似的功能

一个HBase中存储了许多表

每个表都是一个HRegion集合，每个HRegion包含了位于某个域区间内的所有数据

• 表中的所有行都按照行键的字典序排列

• 表在行的方向上分割为多个HRegion

HRegion会按照大小进行分割，每个表一开始只有一个HRegion，随着数据不断插入表，HRegion不断增大，当增大到一个阀值的时候，HRegion就会等分成两个新的HRegion

不同的HRegion会被HMaster分配给相应的HRegionServer进行管理

HRegion是HBase中分布式存储和负载均衡的最小单元

最小单元表示不同的HRegion可以分布在不同的HRegionServer上，但同一个HRegion是不会拆分到多个HRegionServer上的

• NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作

• 集群中的DataNode管理存储的数据

• HDFS 允许用户以文件的形式存储数据

• 从内部来看，文件被分成若干个数据块，而且这若干个数据块存放在一组DataNode上

• 保证任何时候，集群中只有一个HMaster

• 存储所有HRegion的寻址入口

• 实时监控HRegionServer的状态，将HRegionServer的上线和下线信息实时通知给HMaster

• 存储HBase的schema，包括有哪些表，每个表有哪些列族

• 管理用户对表的增、删、改、查操作

• 管理HRegionServer的负载均衡，调整HRegion分布

• 在HRegion分裂后，负责新HRegion的分配

• 在HRegionServer停机后，负责失效HRegionServer上的HRegion的迁移

1. 从Zookeeper上获取唯一一个代表该HMaster的锁，用来阻止其它HMaster成为主服务器

2. 扫描Zookeeper上的server目录，获得当前可用的HRegionServer列表

3. 和第二步中的每个HRegionServer通信，获得当前已分配的HRegion和HRegionServer的对应关系

4. 扫描.META.中HRegion的集合，计算得到当前还未分配的HRegion，将他们放入待分配HRegion列表

预写日志（WAL，Write Ahead Log）是HBase中用于保证数据一致性的机制。

原理是在对数据进行修改操作之前，先将修改操作的信息写入WAL中，然后再进行实际的数据修改。如果在数据修改过程中发生错误，可以通过WAL中记录的信息来恢复数据。

预写日志在HBase中有如下作用：

1)保证数据一致性：在数据修改过程中，如果发生错误，可以通过WAL中记录的信息来恢复数据，保证数据的一致性。

2)支持数据恢复：如果HBase服务器意外崩溃，可以通过WAL中记录的信息来恢复数据。

3)支持多种数据修改操作：WAL支持多种数据修改操作，包括插入、更新和删除操作。

4)加速数据修改：由于WAL的写入是异步的，因此可以在写入WAL的同时进行数据修改，从而加速数据修改的速度。

5)保证最终一致性：WAL可以保证最终一致。

• client向HRegionServer提交写请求

• HRegionServer找到目标HRegion

• HRegion检查数据是否与schema一致

• 如果客户端没有指定版本，则获取当前系统时间作为数据版本

• 将更新写入HLog

• 将更新写入HMemstore

• 判断HMemStore的是否需要flush为HStore文件

• master负责调度构成一个作业的所有任务，这些任务分布在不同的slave上，master监控它们的执行，重新执行已经失败的任务

• slave仅负责执行由master指派的任务

1. JobTracker负责分布式环境中实现客户端创建任务并提交

2. InputFormat模块负责做Map前的预处理

3. 将RecordReader处理后的结果作为Map的输入，然后Map执行定义的Map逻辑，输出处理后的(key,value)对到临时中间文件

4. Shuffle&Partitioner：在MapReduce流程中，为了让reduce可以并行处理map结果，必须对map的输出进行一定的排序和分割，然后再交给对应的reduce。这个将map输出进行进一步整理并交给reduce的过程，就称为shuffle。Partitioner是选择配置，主要作用是在多个Reduce的情况下，指定Map的结果由某一个Reduce处理，每一个Reduce都会有单独的输出文件

5. Reduce执行具体的业务逻辑，即处理数据以得到结果的业务，并且将处理结果输出给OutputFormat

6. OutputFormat的作用是，验证输出目录是否已经存在和输出结果类型是否符合Config中配置类型，若成立则输出Reduce汇总后的结果

简单地说，每个map task都有一个内存缓冲区，存储着map的输出结果，当缓冲区快满的时候，需要将缓冲区的数据以一个临时文件的方式存放到磁盘，当整个map task结束后，再对磁盘中这个map task产生的所有临时文件做合并，生成最终的正式输出文件，然后等待reduce task来拉数据

• Map task执行：它的输入数据来源于HDFS的block

• Mapper运行：mapper的输出是一个key/value对

• Spill：内存缓冲区是有大小限制的（默认是100MB）。当map task的输出结果很多时，就可能会撑爆内存，所以需要在一定条件下将缓冲区中的数据临时写入磁盘，然后重新利用这块缓冲区。这个从内存往磁盘写数据的过程被称为Spill

• Merge：每次溢写会在磁盘上生成一个溢写文件，如果map的输出结果真的很大，有多次这样的溢写发生，磁盘上相应的就会有多个溢写文件存在。当map task真正完成时， 内存缓冲区中的数据也全部溢写到磁盘中形成一个溢写文件。最终，磁盘中会至少有一个这样的溢写文件存在。因为最终的文件只有一个，所以需要将这些溢写文件归并到一起，这个过程就叫做Merge

• Copy过程，简单地拉取数据。Reduce进程启动一些数据copy线程(Fetcher)，通过HTTP方式请求map task所在的TaskTracker获取map task的输出文件。因为map task早已结束，这些文件就归TaskTracker管理在本地磁盘中

• Merge阶段。这里的merge如map端的merge动作，只是数组中存放的是不同map端copy来的数值

• Reducer的输入文件。不断地merge后，最后会生成一个“最终文件”（这个文件可能存在于磁盘上，也可能存在于内存中）。当Reducer的输入文件已定，整个Shuffle才最终结束。然后就是Reducer执行，把结果放到HDFS上

数据模型

• 行键（Row Key）：HBase表的主键，表中的记录按照行键排序。行键用来检索记录的主键

• 时间戳（Timestamp）：每次数据操作对应的时间戳，可看作是数据的版本号，不同版本通过时间戳来进行索引

• 列族（Column Family）：表在水平方向有一个或者多个列族组成，一个列族中可以由任意多个列组成，即列族支持动态扩展，无需预先定义列的数量以及类型，所有列均以二进制格式存储，用户需要自行进行类型转换

键值对数据库——Redis

简答

键值数据库是一种非关系数据库，它使用简单的键值方法来存储数据

键值数据库将数据存储为键值对集合，其中键作为唯一标识符

键和值都可以是从简单对象到复杂复合对象的任何内容

键值数据库是高度可分区的，并且允许以其他类型的数据库无法实现的规模进行水平扩展

 

• 数据可以从主服务器向任意数量的从服务器上同步

• 从服务器可以是关联其他从服务器的主服务器，这使得Redis可执行单层树复制

• 由于完全实现了发布/订阅机制，使得从数据库在任何地方同步树时，可订阅一个频道并接收主服务器完整的消息发布记录

• 同步对读取操作的可扩展性和数据冗余很有帮助

数据模型

• 它允许更大的数据库，使用多台计算机的内存总和；如果不分区，只是一台计算机有限的内存可以支持的数据存储

• 它允许按比例在多内核和多个计算机计算，以及网络带宽向多台计算机和网络适配器

• 涉及多个键的操作通常不支持。例如，如果它们被存储在被映射到不同的 Redis 实例键，则不能在两个集合之间执行交集

• 涉及多个键时，Redis事务无法使用

• 分区粒度是一个键，所以它不可能使用一个键和一个非常大的有序集合分享一个数据集

• 当使用分区，数据处理比较复杂，比如要处理多个RDB/AOF文件，使数据备份需要从多个实例和主机聚集持久性文件

• 添加和删除的容量可能会很复杂。例如Redis的Cluster支持数据在运行时添加和删除节点是透明平衡的，但其他系统，如客户端的分区和代理服务器不支持此功能

• 范围分区：范围分区被映射对象指定 Redis 实例在一个范围内完成；在我们的例子中，用户从ID为 0 至 10000 将进入实例 R0，而用户10001到20000 将进入实例 R1 等等

• 散列分区：用一个散列函数（例如，模数函数）将键转换为数字数据，然后存储在不同的 redis 实例

图数据库——Neo4j

简答

• 完整的ACID支持

• 高可用性

• 轻易扩展到上亿级别的节点和关系

• 通过遍历工具高速检索数据

数据模型

属性是由key-value键值对组成（键名是字符串，属性值要么是原始值、要么是原始值类型的一个数组）

节点经常被用于表示实体，可以有属性

一个关系连接两个节点，必须有一个开始节点和结束节点（关系也可以有属性

关系总是直接相连的，所以对于一个节点来说，与他关联的关系看起来有输入/输出两个方向；因此通过关系可以找到很多关联的数据，比如节点集合，关系集合以及他们的属性集合

路径由至少一个节点，通过各种关系连接组成，经常是作为一个查询或者遍历的结果

往年考题