我们很高兴地宣布 Spring for Apache Hadoop 2.2 RC1 里程碑版本发布。这是在约 2 周后发布 2.2 GA 版本之前的最后一个计划版本。
Spring for Apache Hadoop 2.2 版本中最重要的更改/增强功能包括
- 不再支持使用 JDK 6,现在需要 Java 7 或更高版本
- 改进 HDFS 写入器以支持可同步写入和新的超时选项
- 添加对 Pivotal HD 3.0 的支持
- 更新 Cloudera CDH 5 以使用 5.3.3 版本
- 更新 Hortonworks HDP 2.2 版本至 2.2.4.0
- 更新 Kite SDK 至 1.0 版本
- 将 Spring 项目版本更新至最新版本
我们继续在 Spring IO 里程碑存储库中提供具有各自传递依赖项的特定版本工件
- 2.2.0.RC1(默认 - Apache Hadoop 稳定版 2.6.0)
- 2.2.0.RC1-phd21(Pivotal HD 2.1)
- 2.2.0.RC1-phd30(Pivotal HD 3.0)
- 2.2.0.RC1-cdh5(Cloudera CDH5)
- 2.2.0.RC1-hdp22(Hortonworks HDP 2.2)
下一个 2.3 版本的最大变化将是 Hive 支持
- 我们将更新 Hive 功能以使用 Apache Hive 的 1.x 系列。Hive 1.x 停止支持 Hiveserver v1 和相应的 Thrift 客户端。这意味着我们将不得不删除我们为支持这些功能而编写的代码,包括用于 XML 配置的 Hive 命名空间。我们将用使用 JDBC 客户端实现相同功能的新实现替换这些功能。从 Hiveserver v1 迁移到 Hiveserver v2 (hiveserver2) 时,需要进行一些配置更改。任何依赖 Hive v1 功能的用户应继续使用 Spring for Apache Hadoop 2.2.x 或更早版本。
我们还计划在 2.3 中开发以下功能
- 更好的 Java 配置支持。
- 对运行 Spark 应用的基本批处理 tasklet 支持。
- 在不同模块中提供更好的启动支持。
- 改进的安全支持(例如 YARN Boot CLI 交互等)。
- 增强功能,以便与 spring-cloud 组件(例如 spring-cloud-cluster)无缝集成。
请提供反馈,以便我们能够优先考虑这些功能以及任何其他功能请求的工作。您可以使用 JIRA 问题或 GitHub 问题(请参阅项目页面以获取链接)。
项目页面位于 - http://projects.spring.io/spring-hadoop/