领先一步
VMware 提供培训和认证,以加快您的进步。
了解更多我们很高兴地宣布 Apache Hadoop 2.0 M5 里程碑版本的 Spring 发布。我们正在接近候选发布版本,因此现在是强调 2.0 版本的新特性以及它与 1.0 版本相比如何的好时机。
Spring for Apache Hadoop 1.0 主要针对使用 HDFS 和 MapReduce,无论是 MapReduce v1 还是 MapReduce v2 (YARN)。默认发行版是 Apache Hadoop 1.2.1,并为其他发行版提供了额外的“版本”:Hadoop 2.2.0、Pivotal HD 1.1、Cloudera CDH4 MR1 或 MR2 YARN 以及 Hortonworks HDP 1.3。
Spring for Apache Hadoop 2.0 的主要重点是在继续改进 HDFS 和 MapReduce 支持的同时,添加 YARN 应用程序开发支持。未来 2.0 版本的默认发行版是 Apache Hadoop 2.2.0。
我们继续在 Spring IO 里程碑存储库中提供具有各自传递依赖项的特定版本工件
Spring for Apache Hadoop 2.0 版本中最重要的增强功能
您可以在 YARN 示例 中看到许多这些新的 YARN 功能的应用。
我们还添加了一个 spring-data-hadoop-store 子项目,以更好地支持使用 DataWriter 和 DataReader 实现将数据写入 HDFS,这些实现支持诸如文本文件和 SequenceFiles 之类的格式,无论是否压缩。此新子项目还与来自 Kite SDK 的 Dataset 支持集成。
有关更多项目特定信息,请参阅 项目页面。