hadoop网络拓扑分析：NetworkTopology和DNSToSwitchMapping
浏览数：63 /
时间：2015年06月11日
hadoop网络拓扑结构在整个系统中具有很重要的作用，它会影响DataNode的启动(注册)、MapTask的分配等等。了解网络拓扑对了解整个hadoop的运行会有很大帮助。
首先通过下面两个图来了解与网络拓扑有关的类。
NetworkTopology用来表示hadoop集群的网络拓扑结构。hadoop将整个网络拓扑组织成树的结构(可以参考这篇文章https://issues.apache.org/jira/secure/attachment/12345251/Rack_aware_HDFS_proposal.pdf)，其中Node接口代表树种的结点，既可以是树的内部结点(如data center，rack)，也可以是叶子结点(就是host)；而NodeBase实现了Node；NetworkTopology.InnerNode则代表树的内部结点。当DataNode启动的时候以DatanodeRegistration的形式，向NameNode来注册本结点的信息，使得NameNode通过网络拓扑确定该DataNode在网络拓扑中的位置。
DNSToSwitchMapping用来把集群中的node转换成对应的网络位置。
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
