领先一步
VMware 提供培训和认证,助您加速进步。
了解更多我们很高兴地宣布 Spring for Apache Hadoop 2.0 M5 里程碑版本发布。我们离发布候选版本越来越近了,现在是时候重点介绍 2.0 版本的新增内容以及它与 1.0 版本的区别了。
Spring for Apache Hadoop 1.0 主要支持使用 MapReduce v1 或 MapReduce v2 (YARN) 的 HDFS 和 MapReduce。默认发行版是 Apache Hadoop 1.2.1,并为其他发行版提供了额外的“口味”:Hadoop 2.2.0、Pivotal HD 1.1、Cloudera CDH4 MR1 或 MR2 YARN 和 Hortonworks HDP 1.3。
Spring for Apache Hadoop 2.0 的主要重点是在继续改进 HDFS 和 MapReduce 支持的基础上,增加 YARN 应用程序开发支持。2.0 版本后续的默认发行版将是 Apache Hadoop 2.2.0。
我们继续在 Spring IO 里程碑仓库中提供特定版本构件及其各自的传递依赖项
Spring for Apache Hadoop 2.0 版本最重要的增强功能
您可以在 YARN 示例中看到许多这些新的 YARN 功能的使用。
我们还添加了一个 spring-data-hadoop-store 子项目,以更好地支持使用 DataWriter 和 DataReader 实现将数据写入 HDFS,这些实现支持带有或不带压缩的文本文件和 SequenceFiles 等格式。这个新的子项目还与 Kite SDK 的 Dataset 支持集成。
有关更多项目特定信息,请参阅 项目页面。