Apache Hadoop 2.1 版 Spring 发布

发布 | Thomas Risberg | 2015年2月9日 | ...

大约六个月前,我们开始着手 Apache Hadoop 2.1 版 Spring 的开发工作。我们现在很高兴地宣布 2.1.0 版本正式可用。

从 Apache Hadoop 2.1 版 Spring 开始,我们现在只支持 Hadoop 2.0 API,不再向后兼容旧的 Hadoop v1 发行版。如果您需要支持旧版本的 Hadoop,请使用 2.0.4 或 1.1.0 版本的 Apache Hadoop 版 Spring。

2.1 版本的主要新功能包括:

配置和 Boot 支持:

  • 新的 @Configuration 更改以及对 Boot 自动配置功能的改进。在boot-fsshell DemoApplication 示例应用中可以看到此支持的一个很好的例子。
@SpringBootApplication
public class DemoApplication implements CommandLineRunner {

	@Autowired
	private FsShell shell;

	@Override
	public void run(String... args) {
		for (FileStatus s : shell.lsr("/tmp")) {
			System.out.println("> " + s.getPath());
		}
	}

	public static void main(String[] args) {
		SpringApplication.run(DemoApplication.class, args);
	}
}

完整示例请访问 https://github.com/spring-projects/spring-hadoop-samples/blob/master/boot/boot-fsshell

存储:

  • 在 HDFS 存储写入器中添加了对追加模式的支持。
  • Kite SDK 数据集支持更新到 0.17.0。这意味着 API 有一些更改。现在除了 basePath 之外,还必须使用命名空间。DatasetTemplate 现在也使用 ViewCallbacks 而不是分区表达式来查询数据。

YARN:

  • 支持 Spring YARN 中的容器分组和集群,这带来了在单个 YARN 应用程序中运行多种容器类型的功能。
  • 一个新的提交应用程序的 REST API 和改进的应用程序模型,其中包含新的客户端命令和命令行 shell。
  • 要查看这些功能的示例,请查看yarn-store-groups 示例应用 或在 YARN 上运行的 Spring XD 实现 示例

我们继续更新对最新 Hadoop 版本的支持。我们现在为以下发行版提供“定制”版本:

  • Apache Hadoop 2.4.1 (2.1.0.RELEASE-hadoop24)
  • Apache Hadoop 2.5.2 (2.1.0.RELEASE-hadoop25)
  • Apache Hadoop 2.6.0 (2.1.0.RELEASE)
  • Pivotal HD 2.1 (2.1.0.RELEASE-phd21)
  • Cloudera CDH5 5.3.0 (2.1.0.RELEASE-cdh5)
  • Hortonworks HDP 2.2 (2.1.0.RELEASE-hdp22)

默认发行版版本现在是 Apache Hadoop 2.6.0。

展望未来

随着 Hadoop 生态系统快速发展,我们希望更频繁的发布将有助于我们跟上步伐。对于下一个版本,我们计划添加以下内容:

  • 更好的 Java 配置支持。
  • 添加对 Hiveserver2 的更好支持,包括批处理 tasklet。
  • 运行 Spark 应用的基本批处理 tasklet 支持。
  • 在不同模块中提供更好的 Boot 支持。
  • 改进的安全支持(例如 YARN Boot CLI 交互等)。
  • 增强与 spring-cloud 组件(例如 spring-cloud-cluster)的无缝集成。

请通过 JIRA 问题或 GitHub 问题提供反馈和功能请求(请参阅项目页面以获取链接)。

项目页面位于 - http://projects.spring.io/spring-hadoop/

获取 Spring 电子报

通过 Spring 电子报保持联系

订阅

领先一步

VMware 提供培训和认证,以加速您的进步。

了解更多

获取支持

Tanzu Spring在一个简单的订阅中提供对 OpenJDK™、Spring 和 Apache Tomcat® 的支持和二进制文件。

了解更多

即将举行的活动

查看 Spring 社区中所有即将举行的活动。

查看全部