MongoDB中的分片
通过分片能够增加更多的机器来应对不断增加的负载和数据,还不影响应用。分片(sharding)是指将数据拆分,将其分散到不同的机器上,不需要功能强大的大型计算机就可以存储更多的数据,处理更大的负载。
MongoDB支持自动分片,可以摆脱手动分片的管理困扰,集群自动切分数据,做负载均衡。分片的基本思想就是将集合切分成小块,这些块分散到若干片里面,每个片只负责总数据的一部分。应用程序不必知道哪片对应哪些数据,甚至不知道数据已经拆分,所以在分片之前要运行一个路由进程(mongos),这个路由知道所有数据的存放位置,所以应用可以连接它来正常发送请求。对应用来说,它仅知道连接了一个普通的mongod。路由器知道数据和片的对应关系,能够转发请求到正确的片上。如果请求有了回应,路由器将其收集起来会送给应用。
在没有分片的时候,客户端连接mongod进程;分片时,客户端连接mongos进程,mongos对应用隐藏了分片的细节。从应用角度看,分片不分片没什么差别,所以需要扩展的时候,不必修改应用程序的代码。
何时分片:
(1)机器的磁盘不够用了
(2)单个mongod已经不能满足写数据的性能需求
(3)想将大量数据放在内存中提高性能
一般来说,先要从不分片开始,在需要时将其转换成分片的。
1、片键
设置分片时,需要从集合里选一个键,作为数据拆分的依据,这个键称为片键(shard key)。
例如,文档集合表示的是人员,如果选择名字(name)为片键,第一片可能会存放以A-F开头的文档,第二片存G-P的名字,第三片存Q-Z的名字。随着添加或者删除片,MongoDB会重新平衡数据,使每片的流量都比较均衡,数据量也在合理范围内(例如,流量大的片存放的数据或许会比流量小的书数据量要要少些)。
1.1、将已有的集合分片
假设有个存储日志的集合,现在要分片。我们开启分片功能,然后告诉MongoDB用"timestamp"作为片键,就是所有数据放到了一个片上。可以随意插入数据,但总会是在一个片上。然后,新增一个片。这个片建好并运行了以后,MongoDB就会把集合拆分成两半,成为块。每个块中包含片键值在一定范围内的所有文档,假设其中一块包含时间戳在2015.11.11前的文档,则另一块含有2015.11.11以后的文档。其中一块会被移动到新片上。如果新文档的时间戳在2015.11.11之前,则添加到第一块,否则添加到第二块。
1.2、递增片键还是随机片键
片键的选择决定了插入操作在片之间的分布。如果选择了像"timestamp"这样的键,这个值可能不断增长,而且没有太大的间断,就会将所有数据发送到一个片上(含有2015.11.11以后日期的那片)。如果又添加了新片,再拆分数据,还是会都导入到一台服务器上。添加了新片,MongoDB肯能会将2011.11.11以后的拆分成2011.11.11-2021.11.11。如果文档的时间大于2021.11.11以后,所有的文档还会以最后一片插入。这就不适合写入负载很高情况,但按照片键查询会非常高效。如果写入负载比较高,想均匀分散负载到各个片,就得选择分布均匀的片键。日志例子中时间戳的散列值,没有模式的"logMessage"都是复合这个条件的。
不论片键随机跳跃还是稳定增加,片键的变化很重要。如,如果有个"logLevel"键的值只有3种值"DEBUG","WARN","ERROR",MongoDB无论如何也不能把它作为片键将数据分成多于3块(因为只有3个值)。如果键的变化太少,但又想让其作为片键,可以把这个键与一个变化较大的键组合起来,创建一个复合片键,如"logLevel"和"timestamp"组合。
选择片键并创建片键很像索引,因为二者原理相似。事实上,片键也是最常用的索引。
1.3、片键对操作的影响
最终用户应该无法区分是否分片,但是要了解选择不同片键情况下的查询有何不同。
假设还是那个表示人员的集合,按照"name"分片,有3个片,其名字首字母的范围是A-Z.下面以不同的方式查询:
db.people.find({"name":"Refactor"})
mongos会将这个查询直接发送给Q-Z片,获得响应后,直接转发给客户端
db.people.find({"name":{"$lt":"L"}})
mongos会将其先发送给A-F和G-P片,然后将结果转发给客户端.
db.people.find().sort({"email":1})
mongos会在所有片上查询,返回结果时还会做归并排序,确保结果顺序正确.
mongos用游标从各个服务器上获取数据,所以不必等到全部数据都拿到才向客户端发送批量结果.
db.people.find({"email":"[email protected]"})
mongos并不追踪"email"键,所以也不知道应该将查询发给那个片.所以他就向所有片顺序发送查询.
如果是插入文档,mongos会依据"name"键的值,将其发送到相应的片上.
2、建立分片
建立分片分两步:启动实际的服务器和切分数据。
分片一般会有3个组成部分:
(1)片
片就是保存子集合数据的容器,片可是单个的mongod服务器(开发和测试用),也可以是副本集(生产用)。所以一片有多台服务器,也只能有一个主服务器,其他的服务器保存相同的数据。
(2)mongos
mongos就是MongoDB配的路由器进程。它路由所有的请求,然后将结果聚合。它本身并不存储数据或者配置信息,但会缓存配置服务器的信息。
(3)配置服务器
配置服务器存储了集群的配置信息:数据和片的对应关系。mongos不永久存放数据,所以需要个地方存放分片的配置。它会从配置服务器获取同步数据。
如果已经能用了MongoDB,就有了一个整装待发的片了(当前的mongod可以变成第一个片)。
2.1、启动服务器
2.1.1、启动配置服务器
配置服务器需要最先启动,因为mongos会用到其上的配置信息。配置服务器的启动就像普通mongod一样。
[root@gflinux102 master]# mkdir -p /opt/mongo/config
[root@gflinux102 ~]# mongod --dbpath /opt/mongo/config/ --port 20000
配置服务器不需要很多空间和资源(200MB实际数据大约占用1KB的配置空间)
2.1.2建立mongos进程(应用程序连接)
这种路由服务器不需要数据目录,但是一定要指明配置服务器的位置。
[root@gflinux102 ~]# mongos --port 30000 --configdb localhost:20000
分片管理是通过mongos来完成的。
2.1.3、添加片
片就是普通的mongod实例(或者副本集):
[root@gflinux102 master]# mkdir -p /opt/mongo/shard1
[root@gflinux102 ~]# mongod --dbpath /opt/mongo/shard1/ --port 10000
连接mongos,为集群添加一个片。启动shell,连接mongos:
[root@gflinux102 ~]# mongo localhost:30000/admin
MongoDB shell version: 2.6.6
connecting to: localhost:30000/admin
mongos>
通过addshard命令添加片:
mongos> db.runCommand({addshard:"localhost:10000",allowLocal:true})
{ "shardAdded" : "shard0000", "ok" : 1 }
mongos>
再增加一个片:
[root@gflinux102 master]# mkdir -p /opt/mongo/shard2
[root@gflinux102 ~]# mongod --dbpath /opt/mongo/shard2 --port 10001
mongos> db.runCommand({addshard:"localhost:10001",allowLocal:true})
{ "shardAdded" : "shard0001", "ok" : 1 }
当在localhost运行片时,得设定"allowLocal"键。MongoDB尽量避免由于错误配置,将集群配置到本地。
想添加片的时候,就运行addshard,MongoDB会负责将片集成到集群。
2.2、切分数据
MongoDB不会将存储的每一条数据都直接发布,得先在数据库和集合的级别将分片功能打开。下面以"_id"为基准切分test数据库的rgf集合。
2.2.1、开启数据库的分片功能
分片功能的开启是在哪个服务器上哪?
首先在配置服务器上运行:
[root@gflinux102 master]# mongo localhost:20000
MongoDB shell version: 2.6.6
connecting to: localhost:20000/test
Server has startup warnings:
> use admin
switched to db admin
> db.runCommand({"enablesharding":"test"})
{
"ok" : 0,
"errmsg" : "no such cmd: enablesharding",
"code" : 59,
"bad cmd" : {
"enablesharding" : "test"
}
}
>
配置服务器没有该命令。
(1)在路由服务器上对数据库启用分片功能("enablesharding")
在路由服务器上运行:
mongos> db.runCommand({"enablesharding":"test"})
{ "ok" : 1 }
mongos>
将test数据库启用分片功能,对数据库分片后,其内部的集合便会存储到不同的片上,同时这也是对这些集合分片的前置条件。
(2)堆积和进行分片("shardcollection")
在数据库级别启用了分片以后,就可以使用shardcollection命令堆积和进行分片:
mongos> db.runCommand({"shardcollection":"test.rgf","key":{"name":1}})
{
"proposedKey" : {
"name" : 1
},
"curIndexes" : [
{
"v" : 1,
"key" : {
"_id" : 1
},
"name" : "_id_",
"ns" : "test.rgf"
}
],
"ok" : 0,
"errmsg" : "please create an index that starts with the shard key before sharding."
}
出现这种情况,需要在片上的集合中创建文档:
> db.rgf.ensureIndex({"name":1})
{
"createdCollectionAutomatically" : false,
"numIndexesBefore" : 1,
"numIndexesAfter" : 2,
"ok" : 1
}
再次运行分片命令:
mongos> db.runCommand({"shardcollection":"test.rgf","key":{"name":1}})
{ "collectionsharded" : "test.rgf", "ok" : 1 }
对test数据库的rgf集合进行分片,片键name,如果对rgf集合添加数据,就会依据"name"的值自动分散到各个片上。
注意:插入数据在mongos端插入。
3、生产配置
成功地构建分片需要如下条件:
(1)多个配置服务器
(2)多个mongos服务器
(3)每个片都是副本集
(4)正确设置w
3.1、配置多个配置服务器
建立多个配置服务器非常简单:
[root@gflinux102 master]# mkdir -p /opt/mongo/config{1,2,3}
[root@gflinux102 ~]# mongod --dbpath /opt/mongo/config1/ --port 20001
[root@gflinux102 ~]# mongod --dbpath /opt/mongo/config2/ --port 20002
[root@gflinux102 ~]# mongod --dbpath /opt/mongo/config3/ --port 20003
启动mongos时应将其连接到这3个配置服务器中:
[root@gflinux102 ~]# mongos --configdb localhost:20001,localhost:20002,localhost:20003
配置服务器使用的是两步提交机制,而不是普通MongoDB的异步复制来维护集群的不同副本,这样能保证集群状态的一致性。这也意味着,某台配置服务器宕掉了以后,集群配置信息将是只读的。客户端还是能够读写,但是只有所有配置服务器备份了以后才能均衡数据。
3.2、多个mongos
mongos的数量不受限制。建议针对一个应用只运行一个mongos进程,这样每个应用服务器就可以与mongos进行本地会话,如果服务器不工作了,就不会有应用试图与不存在的monges通话。
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。