Hadoop on Mac with IntelliJ IDEA - 11 Hadoop版本衍化

最近阅读的材料总是提到Hadoop 0.20、0.23等版本号,导致个人对Hadoop版本感到相当讶异:1.2.1竟然比0.23还落后,你特么在逗我。好奇之下,搜索一把,找到了一个文档,以下内容均来自该文档,在此作个备份。

摘自迪伦. Hadoop大数据解决方案进阶应用 - Hadoop 2.0(1)。

1、第一代Hadoop:Hadoop 1.0

  • 包含三个大版本,分别是0.20.x、0.21.x、0.22.x和CDH3
  • 0.20.x最后演化成1.0.x,变成了稳定版
  • 0.21.x和0.22.x则增加NameNode HA等新的重大特性

2、第二代Hadoop:Hadoop 2.0

  • 包含Apache Hadoop 0.23.x、2.x和CDH4,均包含HDFS Federation和YARN两个系统
  • 2.x增加了NameNode HA和Wire-compatibility两个重大特性

3、Apache软件发布方式:根据新增特性延伸新版本
4、独立产生Hadoop版本的重大特性

Append
  支持文件追加功能
RAID
  构建DRFS,在保证数据可靠的前提下,通过引入校验码减少数据块数目
Symlink
  支持HDFS文件链接
Security
  安全认证和授权机制
MRv1
MRv2/YARN
NameNode HA
HDFS Federation

郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。