MongoDB分片环境下的查询路由

更多关于MongoDB的技术分享请关注我的公众号：mongodb_side

github版本 - 7a02f29211e96977765f2461253d3fa99b6a3def

根据2015-01-14官方文档快照翻译（v2.6.7 & v2.8.0-rc4）

翻译 shingo（[email protected]）

在分片集群环境中，MongoDB通过 mongos实例来路由读写操作。从应用的角度来说，mongos 是访问集群的唯一入口，应用程序不能直接连接集群环境中的分片节点。

通过缓存config节点的元数据信息， mongos 可以跟踪到数据在哪个分片上。mongos 利用这些元数据信息将应用和客户端的操作路由到具体的mongod 实例。mongos 不提供持久化，并且只消耗很少的系统资源。

最常见的做法是将mongos 实例和应用服务器部署在同一环境下，当然你也可以将mongos 实例和分片节点放在一起，或者用专门的资源来运行它。

路由过程

mongos如何决定由哪些分片来接收一个查询

mongos 路由一个查询到集群中有两步：

1. 1.  确定接收查询的 分片 列表。
2. 2.  为所有目标分片建立一个游标。

在一些情况下，例如当 shard key 或shard key的某个前辍部分被当做查询条件的一部分时， mongos 会将查询路由到分片集的某个子集下，其它时候，mongos 将查询引向所有包含目标表数据的分片下。

(译者注：这里所说的shard key的某个前辍部分是指如果是复合key，那么从第一个字段开始按序往后的子集，这个子集对查询时尽可能精确的定位分片有很大帮助，子集越大定位越准。)

Mongos如何处理查询修改器

如果查询结果不需要排序，mongos 会开启一个结果游标，从各个目标分片的游标“轮循”结果。

2.0.5版更新：在2.0.5之前的版本中， mongos 一个接一个将游标从头滑到尾。

（译者注：2.0.5版之前mongos会循环所有目标分片返回的数据集，每一个数据库通过游标从头至尾；从2.0.5开始，mongos开启一个总的游标，每个数据集拿一条数据，循环往复。）

如果查询操作用sort()方法指定了排序规则， mongos 将$orderby选项传递给各个目标分片。在通过mongos 将结果集返回客户端之前，数据库的主shard会接收所有结果数据，确定后执行合并排序。

如果查询操作用limit()限制结果集的大小， mongos 将这个限制传递给各个目标分片，在返回客户端之前再将整个结果集缩减到指定大小。

（译者注：如果数据够大，假设有n个目标分片，limit的参数为x，mongodb会至少扫描n*x条数据。 不过在现实的场景中，limit的需求一般为分页，或是专门被指定的一个有限集，这个数在多数情况下不会太大。）

如果查询操作用 skip()方法指定要忽略的结果个数，mongos 不会将这个忽略数传递给目标分片， 而是从各分片检索出符合查询条件的所有结果，在组装最终结果集时再忽略指定数目的数据。但是如果它和limit()方法联合使用， mongos 将 limit 的值加上skip() 方法的值传递给目标分片，以此来提升这些操作的效率。

（译者注：limit+skip = 每个分片上最终limit值，这也是为了规避查询条件的不同，以及多种因为数据分布引发的结果数据不准确的可能性。 Mongodb的翻页查询随着skip数量的增加性能会越来越差，其实有很多办法可以规避这种查询，比如在主键，或者例用某个字段来精确定位某一页的值范围。）

检测连向mongos的连接

要检测你客户端连接的mongodb实例是否是mongos，可以使用 isMaster 命令。当客户端连上 mongos，isMaster 返回一个带有msg 字段的文档，且字段值为isdbgrid，类似下面这样：

如果连接的是mongod实例，返回的文档不会包含isdbgrid 字符串。

广播操作和目标操作

一般来说，分片环境里的操作有以下两类：

• ·       向集群内所有包含某个表数据的分片广播
• ·       基于shard key，有目标的选定某一个分片或某一部分分片

为了获得最佳的性能，尽可能的使用目标操作。而对于一些需要广播到所有分片的操作，如果可以的话在条件里加上shard key让它转变为目标操作。

广播操作

mongos 会将查询广播到所有包含目标表数据的分片上，除非mongos 能搞清楚哪个或哪些分片上存储着目标数据。

批量更新操作属于广播操作。

remove() 操作一般也是广播操作，除非条件中指定了完整的shard key。

目标操作

所有insert() 操作会定位到具体的一个分片。

所有单个 update() (包括upsert ) 和 remove() 也会定位到单独的分片。

对于包含shard key或包含一部分shard key的查询， mongos 可以定位到具体的某个或多个分片上。这里提到的“一部分shard key”是指从shard key的第一个字段开始依次往后的前辍部分。举个例子，如果有下面的shard key：

mongos 能够通过查询条件中完整的shard key或者下面两个条件来定位分片：

由于数据分布的不同以及查询的多样性，mongos 可能仍然会连接到多个分片 [1] 来完成查询。

[1]如果真的是因为数据分布上的原因，即使查询中包含shard key，mongos 也会将查询路由到所有分片。

分片的和未分片的数据

分片是基于collection级的，你可以在同一个数据库内对多个collection做分片，或者对多个数据库开库分片功能。[2] 但是在生产环境中，一般会有一些数据库和collection使用了分片功能，而其它未开启分片的数据库和collection会存储在单个分片上。

不管你的分片集群环境的数据架构如何，一定要确保所有操作都通过mongos 路由到分片上。即使你的操作针对的是未分片的数据，影响不了分片数据，也要通过mongos 来路由。

[2] 当配置分片功能时，需要使用enableSharding命令为数据库开启分片功能。这个操作也仅仅是为了让该数据库下的collection在分片时能执行shardCollection 命令。