我们很高兴地宣布 Spring for Apache Hadoop 2.2 RC1 里程碑版本发布。这是在未来大约 2 周内发布 2.2 GA 版本之前的最后一个计划发布版本。
Spring for Apache Hadoop 2.2 版本中最重要的更改/增强包括:
- 移除 JDK 6 的支持,现在要求 Java 7 或更高版本
- 改进 HDFS 写入器以支持同步写入和新的超时选项
- 添加对 Pivotal HD 3.0 的支持
- 更新 Cloudera CDH 5 以使用 5.3.3 版本
- 更新 Hortonworks HDP 2.2 版本至 2.2.4.0
- 更新 Kite SDK 至 1.0 版本
- 更新 Spring 项目版本至最新
我们继续在 Spring IO 里程碑仓库中提供特定版本构件及其各自的传递依赖项
- 2.2.0.RC1 (默认 - Apache Hadoop stable 2.6.0)
- 2.2.0.RC1-phd21 (Pivotal HD 2.1)
- 2.2.0.RC1-phd30 (Pivotal HD 3.0)
- 2.2.0.RC1-cdh5 (Cloudera CDH5)
- 2.2.0.RC1-hdp22 (Hortonworks HDP 2.2)
下一个 2.3 版本最大的变化将是 Hive 支持
- 我们将更新 Hive 功能以使用 Apache Hive 的 1.x 系列。Hive 1.x 放弃了对 Hiveserver v1 和相应的 Thrift 客户端的支持。这意味着我们将不得不移除用于支持这些功能的代码,包括 XML 配置的 Hive 命名空间。我们将用使用 JDBC 客户端实现等效功能的新实现来替换这些功能。从 Hiveserver v1 迁移到 Hiveserver v2 (hiveserver2) 时,配置上会有一些变化。任何依赖 Hive v1 功能的用户应继续使用 Spring for Apache Hadoop 2.2.x 或更早版本。
我们还计划为 2.3 版本开发以下功能:
- 更好的 Java 配置支持。
- 对运行 Spark 应用程序的批处理任务的支持。
- 在不同模块中提供更好的 Boot 支持。
- 改进安全性支持(例如,YARN Boot CLI 交互等)。
- 增强以实现与 spring-cloud 组件(例如 spring-cloud-cluster)的无缝集成。
请提供您的反馈,以便我们确定这些功能以及任何其他功能请求的优先级。您可以使用 JIRA issue 或 GitHub issue(请参阅项目页面获取链接)。
项目页面位于 - http://projects.spring.io/spring-hadoop/