Spring for Apache Hadoop 2.1 发布

发布 | Thomas Risberg | 2015年2月09日 | ...

大约六个月前,我们开始了 Spring for Apache Hadoop 2.1 版本的开发工作。 现在我们很高兴地宣布 2.1.0 版本的正式发布。

从 Spring for Apache Hadoop 2.1 版本开始,我们现在仅支持 Hadoop 2.0 API,不再提供与旧版 Hadoop v1 发行版的向后兼容性。 如果您需要支持旧版本的 Hadoop,请使用 Spring for Apache Hadoop 的 2.0.4 或 1.1.0 版本。

2.1 版本的主要新功能包括:

配置和启动支持:

  • 新的 @Configuration 更改以及对启动自动配置功能的改进。 在 boot-fsshell DemoApplication 示例应用程序中可以看到此支持的一个很好的例子。
@SpringBootApplication
public class DemoApplication implements CommandLineRunner {

	@Autowired
	private FsShell shell;

	@Override
	public void run(String... args) {
		for (FileStatus s : shell.lsr("/tmp")) {
			System.out.println("> " + s.getPath());
		}
	}

	public static void main(String[] args) {
		SpringApplication.run(DemoApplication.class, args);
	}
}

有关完整的示例,请访问 https://github.com/spring-projects/spring-hadoop-samples/blob/master/boot/boot-fsshell

存储:

  • 在 HDFS 存储写入器中添加了对追加模式的支持。
  • Kite SDK 数据集支持已更新到 0.17.0。 这意味着 API 有一些变化。 除了 basePath 之外,现在还必须使用命名空间。 DatasetTemplate 现在还使用 ViewCallbacks 代替分区表达式来查询数据。

YARN:

  • Spring YARN 中对容器分组和集群的支持,它为在单个 YARN 应用程序中运行多种容器类型带来了功能。
  • 一个新的 REST API 用于提交的应用程序,以及一个改进的应用程序模型,带有新的客户端命令和命令行 shell。
  • 要查看这些功能的示例,请查看 yarn-store-groups 示例应用程序或 Spring XD 的 在 YARN 上运行的实现。

我们将继续更新对最新 Hadoop 版本的支持。 现在我们为以下发行版提供“风格化”版本

  • Apache Hadoop 2.4.1 (2.1.0.RELEASE-hadoop24)
  • Apache Hadoop 2.5.2 (2.1.0.RELEASE-hadoop25)
  • Apache Hadoop 2.6.0 (2.1.0.RELEASE)
  • Pivotal HD 2.1 (2.1.0.RELEASE-phd21)
  • Cloudera CDH5 5.3.0 (2.1.0.RELEASE-cdh5)
  • Hortonworks HDP 2.2 (2.1.0.RELEASE-hdp22)

默认发行版本现在是 Apache Hadoop 2.6.0。

展望未来

随着 Hadoop 生态系统快速发展,我们希望更频繁的发布能够帮助我们跟上步伐。 对于下一个版本,我们计划添加以下内容:

  • 更好的 Java 配置支持。
  • 为 Hiveserver2 添加更好的支持,包括批处理任务。
  • 对运行 Spark 应用程序的批处理任务的基本支持。
  • 在不同的模块中提供更好的启动支持。
  • 改进的安全支持(即 YARN Boot CLI 交互等)。
  • 增强与 spring-cloud 组件(即 spring-cloud-cluster)的无缝集成。

请通过 JIRA 问题或 GitHub 问题提供反馈和功能请求(有关链接,请参阅项目页面)。

项目页面位于 - http://projects.spring.io/spring-hadoop/

获取 Spring 新闻通讯

与 Spring 新闻通讯保持联系

订阅

取得领先

VMware 提供培训和认证,以加速您的进步。

了解更多

获得支持

Tanzu Spring 在一个简单的订阅中提供对 OpenJDK™、Spring 和 Apache Tomcat® 的支持和二进制文件。

了解更多

即将举行的活动

查看 Spring 社区中所有即将举行的活动。

查看全部