Spring for Apache Hadoop 2.0 M5 发布

版本发布 | Thomas Risberg | 2014年2月6日 | ...

我们很高兴地宣布 Spring for Apache Hadoop 2.0 M5 里程碑版本发布。我们离发布候选版本越来越近了,现在是时候重点介绍 2.0 版本的新增内容以及它与 1.0 版本的区别了。

Spring for Apache Hadoop 1.0 主要支持使用 MapReduce v1 或 MapReduce v2 (YARN) 的 HDFS 和 MapReduce。默认发行版是 Apache Hadoop 1.2.1,并为其他发行版提供了额外的“口味”:Hadoop 2.2.0、Pivotal HD 1.1、Cloudera CDH4 MR1 或 MR2 YARN 和 Hortonworks HDP 1.3。

Spring for Apache Hadoop 2.0 的主要重点是在继续改进 HDFS 和 MapReduce 支持的基础上,增加 YARN 应用程序开发支持。2.0 版本后续的默认发行版将是 Apache Hadoop 2.2.0。

我们继续在 Spring IO 里程碑仓库中提供特定版本构件及其各自的传递依赖项

  • 2.0.0.M5 (默认 - Apache Hadoop 稳定版 2.2.0)
  • 2.0.0.M5-hadoop12 (Apache Hadoop 稳定版 1.2.1)
  • 2.0.0.M5-phd1 (Pivotal HD 1.1)
  • 2.0.0.M5-cdh4 (Cloudera CDH4 MR1)
  • 2.0.0.M5-cdh5 (Cloudera CDH5 YARN beta)
  • 2.0.0.M5-hdp20 (Hortonworks HDP 2.0)

Spring for Apache Hadoop 2.0 版本最重要的增强功能

  • 新的 spring-yarn 子项目提供了对 YARN 功能的支持。spring-yarn 框架使您更容易开发基于 Spring 的应用程序,这些应用程序可以部署在 YARN 上运行,使用 Hadoop v2。
  • 我们还将 YARN 支持与 Spring Boot 集成,以便您可以将 Spring Boot 应用程序部署在 YARN 上。我们将发布一篇博客文章来详细介绍此功能。
  • Spring Boot 提倡一种基于注解的编程模型,我们为 Hadoop YARN 功能添加了基于注解的配置。

您可以在 YARN 示例中看到许多这些新的 YARN 功能的使用。

我们还添加了一个 spring-data-hadoop-store 子项目,以更好地支持使用 DataWriter 和 DataReader 实现将数据写入 HDFS,这些实现支持带有或不带压缩的文本文件和 SequenceFiles 等格式。这个新的子项目还与 Kite SDK 的 Dataset 支持集成。

有关更多项目特定信息,请参阅 项目页面

获取 Spring 新闻通讯

通过 Spring 新闻通讯保持联系

订阅

领先一步

VMware 提供培训和认证,助您加速进步。

了解更多

获得支持

Tanzu Spring 提供 OpenJDK™、Spring 和 Apache Tomcat® 的支持和二进制文件,只需一份简单的订阅。

了解更多

即将举行的活动

查看 Spring 社区所有即将举行的活动。

查看所有