go语言nsq源码解读二 nsqlookupd、nsqd与nsqadmin

转自：http://www.baiyuxiong.com/?p=886
-----------------------------------------------------------------------

上一篇go语言nsq源码解读-基本介绍  介绍了最基本的nsq环境搭建及使用。在最后使用时，我们用到了几个命令：nsqlookupd、nsqd、nsqadmin、curl及 nsq_to_file，并看到用curl命令写入的几个”hello world”被nsq_to_file命令保存在了硬盘文件中。本节中，将讲述这几个命令的作用、用法。

nsqlookupd：

官方文档解释见：http://bitly.github.io/nsq/components/nsqlookupd.html

用官方话来讲是：nsqlookupd管理拓扑信息，客户端根据特定的topic查询nsqlookupd来发现nsqd生产者及nsqd广播topic和channel信息。比较难懂，所以接下来，用通俗的话来解释。

首先讲点别的东西，用过linux的同学可能会发现，linux下很多应用，比如apache、mysql、ftp等它们的服务名称都是在d结尾的。如：

apache ->  httpd

mysql -> mysqld

vsftp -> vsftpd

最后的结尾d是Daemon的意思，守护进程，这种进程不会因为终端窗口关闭就停止执行。比如apache，执行 service httpd start后，apache就启动了， 终端关掉后，apache仍然在后台运行。

好了，现在你会发现，我们的nsqlookupd和nsqd也是在d结尾的，这就暗示他们可能是守护进程，而事实上也确实是这样。

nsqlookupd就是类似apache一样的一个后台服务，它可以理解为整个nsq系统的神经中枢，启动以后，它默认会同时监听两个端口，在 4160端口，建立一个tcp server，用于和nsqd进行数据沟通。在4161上呢，会建立一个http server，用于和nsqadmin进行数据交互。

nsqd

官方文档地址：http://bitly.github.io/nsq/components/nsqd.html

用官方话解释为：nsqd接收、队列、发送消息到客户端。

上一讲中，执行的第二个命令：nsqd –lookupd-tcp-address=127.0.0.1:4160

表示启动一个nsqd 服务，同时告诉这个服务，nsqlookupd的地址在127.0.0.1:4160。4160端口，也就是nsqlookupd监听的tcp erver的地址。有了这个地址后，nsqd就可以和nsqlookupd地建立连接，然后做数据交互。同时呢，nsqd自己会默认监听4151端口，接 收以http方式发送来的消息数据。

nsqadmin

官方文档见：http://bitly.github.io/nsq/components/nsqadmin.html

提供一个浏览器可访问的web页面，用于实时查看集群状态和执行一些管理操作。

上一讲中，第三个命令：nsqadmin –lookupd-http-address=127.0.0.1:4161

表示启动nsqadmin，同时告诉这个服务，nsqlookupd监听的http地址在127.0.0.1:4161,这样，nsqadmin也 会和nsqlookupd建立连接，进行数据交互。而nsqadmin 本身会监听4171端口，提供一个web服务，供浏览器访问，查看数据。所以在上一讲，最后我们通过访问http://127.0.0.1:4171/查 看统计数据。

curl

这个应该都很熟悉的命令，它可以发起网络请求到指定的URL。可以参考网址：

http://blog.51yip.com/linux/1049.html

上一讲中：

curl -d “hello world 1″ “http://127.0.0.1:4151/put?topic=test”

表示向网址http://127.0.0.1:4151/put?topic=test发起POST请求，参数为hello world 1，这4151端口，刚好是nsqd监听的端口，也就是说nsqd可以接口网络发来的信息，并放入队列保存起来，供消息的“消费者”来取出数据并处理。所 以前面介绍nsqd的时候提到“nsqd接收、队列、发送消息到客户端。”。

nsq_to_file

这是nsq提供一个简单的消息“消费者”，他把某个指定“topic”下的数据存在指定的文件中。

上一讲的命令:

nsq_to_file –topic=test –output-dir=F:\tmp –lookupd-http-address=127.0.0.1:4161

表示把指定的话题test下的数据，放在目录F:\tmp下面。所以可以看到文件中保存了三个hello world，因为我们向topic=test的URL curl了三次hello world.

同时大家可能会注意到，nsq_to_file指定的最后一个参数，lookupd-http-address的4161端口是nsqlookupd的地址，不是nsqd的，而我们curl发消息是发到nsqd的4151端口了，这是什么原因呢？

源码我也没读完，呵呵，所以呢，目前猜测是因为nsqlookupd维护着所有nsqd的状态。知道nsqlookupd的地址后，就可以问nsqlookupd要所有的nsqd的信息了。

补充一个图：