我们很高兴地宣布 Spring for Apache Hadoop 2.2 RC1 里程碑版本发布。 这是 2.2 GA 版本在大约 2 周内发布之前的最后一个计划版本。
Spring for Apache Hadoop 2.2 版本中最重要的更改/增强功能是
- 移除对使用 JDK 6 的支持,现在需要 Java 7 或更高版本
- 改进了 HDFS 写入器以支持可同步写入和新的超时选项
- 添加对 Pivotal HD 3.0 的支持
- 将 Cloudera CDH 5 更新为使用版本 5.3.3
- 将 Hortonworks HDP 2.2 版本更新为 2.2.4.0
- 将 Kite SDK 更新为版本 1.0
- 将 Spring 项目版本更新为最新版本
我们继续在 Spring IO 里程碑存储库中提供具有各自传递依赖项的特定版本工件
- 2.2.0.RC1(默认 - Apache Hadoop 稳定版 2.6.0)
- 2.2.0.RC1-phd21 (Pivotal HD 2.1)
- 2.2.0.RC1-phd30 (Pivotal HD 3.0)
- 2.2.0.RC1-cdh5 (Cloudera CDH5)
- 2.2.0.RC1-hdp22 (Hortonworks HDP 2.2)
下一个 2.3 版本的最大变化将是在 Hive 支持方面
- 我们将更新 Hive 功能以使用 Apache Hive 的 1.x 系列。 Hive 1.x 放弃了对 Hiveserver v1 和相应 Thrift 客户端的支持。 这意味着我们将不得不删除我们用于支持这些功能的代码,包括用于 XML 配置的 Hive 命名空间。 我们将用使用 JDBC 客户端的新实现来替代这些功能,以实现等效的功能。 从 Hiveserver v1 移动到 Hiveserver v2 (hiveserver2) 时,需要对配置进行一些更改。 任何依赖 Hive v1 功能的人都应该继续使用 Spring for Apache Hadoop 2.2.x 或更早版本。
我们还计划在 2.3 版本中处理以下功能
- 更好的 Java 配置支持。
- 对运行 Spark 应用程序的批处理 tasklet 的基本支持。
- 在不同的模块中提供更好的启动支持。
- 改进的安全支持(即 YARN Boot CLI 交互等)。
- 增强与 spring-cloud 组件(即 spring-cloud-cluster)的无缝集成。
请提供反馈,以便我们可以优先处理这些功能和任何其他功能请求。 您可以使用 JIRA 问题或 GitHub 问题(有关链接,请参阅项目页面)。
项目页面位于 - http://projects.spring.io/spring-hadoop/