MongoDB内存管理机制
目前,MongoDB使用的是内存映射存储引擎,它会把磁盘IO操作转换成内存操作,如果是读操作,内存中的数据起到缓存的作用,如果是写操作,内存还可以把随机的写操作转换成顺序的写操作,总之可以大幅度提升性能。MongoDB并不干涉内存管理工作,而是把这些工作留给操作系统的虚拟缓存管理器去处理,这样的好处是简化了MongoDB的工作,但坏处是你没有方法很方便的控制MongoDB占多大内存,事实上MongoDB会占用所有能用的内存,所以最好不要把别的服务和MongoDB放一起。
有时候,即便MongoDB使用的是64位操作系统,也可能会遭遇臭名昭著的OOM问题,出现这种情况,多半是因为限制了虚拟内存的大小所致,可以这样查看当前值:
[root@localhost bin]# ulimit -a | grep ‘virtual‘ virtual memory (kbytes, -v) unlimited
多数操作系统缺省都是把它设置成unlimited的,如果你的操作系统不是,可以这样修改:
[root@localhost bin]# ulimit -v unlimited [root@localhost bin]#
不过要注意的是,ulimit的使用是有上下文的,最好放在MongoDB的启动脚本里。
另外,通过调整内核参数drop_caches也可以释放缓存:
[root@localhost bin]# sysctl -w vm.drop_caches=1 vm.drop_caches = 1
平时可以通过mongo命令行来监控MongoDB的内存使用情况,如下所示:
repl:PRIMARY> db.serverStatus().mem { "bits" : 64, "resident" : 82, "virtual" : 5316, "supported" : true, "mapped" : 2287, "mappedWithJournal" : 4574 }
还可以通过mongostat命令来监控MongoDB的内存使用情况,如下所示:
[root@localhost bin]# ./mongostat
mapped vsize res faults 4.2G 9.2G 84.0M 0 4.2G 9.2G 84.0M 0 4.2G 9.2G 84.0M 0 4.2G 9.2G 84.0M 0 4.2G 9.2G 84.0M 0 4.2G 9.2G 84.0M 0 4.2G 9.2G 84.0M 0 4.2G 9.2G 84.0M 0 4.2G 9.2G 84.0M 0 4.2G 9.2G 84.0M 0
其中内存相关字段的含义是:
mapped:映射到内存的数据大小
visze:占用的虚拟内存大小
res:实际使用的内存大小
注:如果操作不能再内存中完成,结果faults列的数值不会是0,视大小可能有性能问题。
在上面的结果中,vsize是mapped的两倍,而mapped等于数据文件的大小,所以说vsize是数据文件的两倍,之所以会这样,是因为本例中,MongoDB开启了journal,需要在内存里多映射一次数据文件,如果关闭journal,则vsize和mapped大致相当。
如果想验证这一点,可以在开启或关闭journal后,通过pmap命令来观察文件映射情况:
[root@localhost bin]# pmap $(pidof mongod) 19300: ./mongod --config /root/software/mongodb/mongo.conf 0000000000400000 20396K r-x-- /root/software/mongodb/bin/mongod 00000000019ea000 560K rw--- /root/software/mongodb/bin/mongod
到底MongoDB配备多大内存合适?宽泛点来说,多多益善,如果要确切点来说,这实际取决于你的数据及索引的大小,内存如果能够装下全部数据加索引是最佳情况,不过很多时候,数据都会比内存大,比如本文说涉及的MongoDB实例:
repl:PRIMARY> db.stats() { "db" : "admin", "collections" : 0, "objects" : 0, "avgObjSize" : 0, "dataSize" : 0, "storageSize" : 0, "numExtents" : 0, "indexes" : 0, "indexSize" : 0, "fileSize" : 0, "ok" : 1 }
另外实例:
mongo> db.stats() { "dataSize" : 1004862191980, "indexSize" : 1335929664 }
本例中索引只有1G多,内存完全能装下,而数据文件则达到了1T,估计很难找到这么大内存,此时保证内存能装下热数据即可,至于热数据有多少,这就是个比例问题了,取决于具体的应用。如此一来内存大小就明确了:内存 > 索引 + 热数据。
关于MongoDB与内存的话题,大家还可以参考官方文档中的相关介绍。
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。