Hadoop on Mac with IntelliJ IDEA - 11 Hadoop版本衍化
最近阅读的材料总是提到Hadoop 0.20、0.23等版本号,导致个人对Hadoop版本感到相当讶异:1.2.1竟然比0.23还落后,你特么在逗我。好奇之下,搜索一把,找到了一个文档,以下内容均来自该文档,在此作个备份。
摘自迪伦. Hadoop大数据解决方案进阶应用 - Hadoop 2.0(1)。
1、第一代Hadoop:Hadoop 1.0
- 包含三个大版本,分别是0.20.x、0.21.x、0.22.x和CDH3
- 0.20.x最后演化成1.0.x,变成了稳定版
- 0.21.x和0.22.x则增加NameNode HA等新的重大特性
2、第二代Hadoop:Hadoop 2.0
- 包含Apache Hadoop 0.23.x、2.x和CDH4,均包含HDFS Federation和YARN两个系统
- 2.x增加了NameNode HA和Wire-compatibility两个重大特性
3、Apache软件发布方式:根据新增特性延伸新版本
4、独立产生Hadoop版本的重大特性
Append
支持文件追加功能
RAID
构建DRFS,在保证数据可靠的前提下,通过引入校验码减少数据块数目
Symlink
支持HDFS文件链接
Security
安全认证和授权机制
MRv1
MRv2/YARN
NameNode HA
HDFS Federation
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。