Apache Hadoop 2.0 M5 版 Spring 发布

发布 | Thomas Risberg | 2014年2月6日 | ...

我们很高兴地宣布 Apache Hadoop 2.0 M5 里程碑版本的 Spring 发布。我们正在接近候选发布版本,因此现在是强调 2.0 版本的新特性以及它与 1.0 版本相比如何的好时机。

Spring for Apache Hadoop 1.0 主要针对使用 HDFS 和 MapReduce,无论是 MapReduce v1 还是 MapReduce v2 (YARN)。默认发行版是 Apache Hadoop 1.2.1,并为其他发行版提供了额外的“版本”:Hadoop 2.2.0、Pivotal HD 1.1、Cloudera CDH4 MR1 或 MR2 YARN 以及 Hortonworks HDP 1.3。

Spring for Apache Hadoop 2.0 的主要重点是在继续改进 HDFS 和 MapReduce 支持的同时,添加 YARN 应用程序开发支持。未来 2.0 版本的默认发行版是 Apache Hadoop 2.2.0。

我们继续在 Spring IO 里程碑存储库中提供具有各自传递依赖项的特定版本工件

  • 2.0.0.M5(默认 - Apache Hadoop 稳定版 2.2.0)
  • 2.0.0.M5-hadoop12(Apache Hadoop 稳定版 1.2.1)
  • 2.0.0.M5-phd1(Pivotal HD 1.1)
  • 2.0.0.M5-cdh4(Cloudera CDH4 MR1)
  • 2.0.0.M5-cdh5(Cloudera CDH5 YARN 测试版)
  • 2.0.0.M5-hdp20(Hortonworks HDP 2.0)

Spring for Apache Hadoop 2.0 版本中最重要的增强功能

  • 新的 spring-yarn 子项目提供了对 YARN 功能的支持。spring-yarn 框架使您更容易开发基于 Spring 的应用程序,这些应用程序可以部署到使用 YARN 在 Hadoop v2 上运行。
  • 我们还将 YARN 支持与 Spring Boot 集成,以便您可以在 YARN 上部署 Spring Boot 应用程序。我们将随后发布一篇博文,更详细地解释此功能。
  • Spring Boot 推广基于注释的编程模型,我们为 Hadoop YARN 功能添加了基于注释的配置。

您可以在 YARN 示例 中看到许多这些新的 YARN 功能的应用。

我们还添加了一个 spring-data-hadoop-store 子项目,以更好地支持使用 DataWriter 和 DataReader 实现将数据写入 HDFS,这些实现支持诸如文本文件和 SequenceFiles 之类的格式,无论是否压缩。此新子项目还与来自 Kite SDK 的 Dataset 支持集成。

有关更多项目特定信息,请参阅 项目页面

获取 Spring 电子报

通过 Spring 电子报保持联系

订阅

领先一步

VMware 提供培训和认证,以加快您的进步。

了解更多

获取支持

Tanzu Spring 在一个简单的订阅中提供 OpenJDK™、Spring 和 Apache Tomcat® 的支持和二进制文件。

了解更多

即将举行的活动

查看 Spring 社区中所有即将举行的活动。

查看全部