图灵汇官网

Hadoop 2.x 与 Hadoop 3.x 的对比

许可证

• Hadoop 2.x：采用Apache 2.0许可证，开源。
• Hadoop 3.x：同样采用Apache 2.0许可证，开源。

支持的最低Java版本

• Hadoop 2.x：需要Java 7或更高版本。
• Hadoop 3.x：最低支持Java 8。

容错机制

• Hadoop 2.x：通过数据复制来实现容错。
• Hadoop 3.x：引入了Erasure编码技术，提高了容错效率。

数据平衡

• Hadoop 2.x：使用HDFS平衡器来均衡数据分布。
• Hadoop 3.x：采用Intra-data节点平衡器，通过HDFS磁盘平衡器CLI来实现更高效的均衡。

存储方案

• Hadoop 2.x：采用三重副本机制。
• Hadoop 3.x：支持HDFS中的擦除编码，减少了存储开销。

存储开销

• Hadoop 2.x：三倍的存储开销。
• Hadoop 3.x：存储开销仅为原大小的50%。

YARN时间线服务

• Hadoop 2.x：使用了存在扩展性问题的时间线服务。
• Hadoop 3.x：改进了时间线服务v2，提高了服务的可扩展性和可靠性。

默认端口范围

• Hadoop 2.x：一些默认端口位于Linux临时端口范围内，在启动时可能会遇到绑定问题。
• Hadoop 3.x：默认端口已移出临时端口范围，避免了启动时的绑定问题。

支持的工具

• Hadoop 2.x：支持Hive、Pig、Tez、Hama、Giraph等工具。
• Hadoop 3.x：同样支持上述工具。

兼容的文件系统

• Hadoop 2.x：支持HDFS（默认）、FTP文件系统、Amazon S3、Windows Azure Blob存储。
• Hadoop 3.x：除了上述文件系统外，还支持Microsoft Azure Data Lake文件系统。

数据节点资源

• Hadoop 2.x：数据节点资源不专门用于MapReduce，可用于其他应用。
• Hadoop 3.x：数据节点资源同样可用于其他应用。

MR API兼容性

• Hadoop 2.x：与Hadoop 1.x程序兼容的MR API。
• Hadoop 3.x：同样兼容Hadoop 1.x程序的MR API。

支持的操作系统

• Hadoop 2.x：支持在Windows上部署。
• Hadoop 3.x：同样支持Windows。

插槽/容器概念

• Hadoop 2.x：从插槽概念转变为容器概念。
• Hadoop 3.x：延续了容器概念的应用。

单点故障处理

• Hadoop 2.x：具有单点故障（SPOF）功能，Namenode故障时可自动恢复。
• Hadoop 3.x：同样具备SPOF功能，Namenode故障时自动恢复，且无需人工干预。

HDFS联盟

• Hadoop 2.x：Hadoop 2.0引入了HDFS联盟，允许多个NameNode管理不同的命名空间。
• Hadoop 3.x：继续支持多个NameNode管理不同命名空间。

可扩展性

• Hadoop 2.x：可扩展到每个集群10,000个节点。
• Hadoop 3.x：进一步提升了可扩展性，支持超过10,000个节点的集群。

快速访问数据

• Hadoop 2.x：通过数据节点缓存实现快速访问。
• Hadoop 3.x：同样利用数据节点缓存加速数据访问。

HDFS快照

• Hadoop 2.x：增加了对快照的支持，用于灾难恢复和保护。
• Hadoop 3.x：同样支持快照功能。

平台应用

• Hadoop 2.x：作为多种数据分析平台，支持事件处理、流媒体和实时操作。
• Hadoop 3.x：在YARN之上运行事件处理、流媒体和实时操作。

群集资源管理

• Hadoop 2.x：使用YARN进行集群资源管理，提高了可扩展性、高可用性和多租户支持。
• Hadoop 3.x：同样使用YARN进行资源管理，提供了全面的功能支持。

希望以上信息对你有所帮助！欢迎继续关注我们的更多内容。