Spring for Apache Hadoop 2.3 Milestone 1 发布

版本发布 | Thomas Risberg | 2015 年 8 月 4 日 | ...

我们很高兴地宣布 Spring for Apache Hadoop 2.3 M1 里程碑版本发布。

Spring for Apache Hadoop 2.3 M1 版本最重要的增强功能包括:

  • 将 Hadoop 2.7.1 添加为默认版本
  • 添加对 HDP 2.3 和 CDH 5.4.4 的支持
  • Bug 修复:修复了 append reopen 可能失败的问题 SHDP-510
  • 更好的 Boot 支持:支持 Boot 配置属性元数据 SHDP-452
  • 添加对 Hive 1.x 和 HiveServer2 的支持

有关详情,请参阅 发行说明

为了能够使用已弃用 HiveServer1 及相应 Thrift 客户端的 Hive 1.x,我们必须重写 Spring for Apache Hadoop 中的 Hive 支持。我们现在支持使用 JDBC 客户端的 HiveServer2,对于最常见的用法,您只需更改客户端配置即可使用 hiveDataSource。下面是一个示例:

<hive-client-factory id="hiveClientFactory" hive-data-source-ref="hiveDataSource"/>
<beans:bean id="hiveDriver" class="org.apache.hive.jdbc.HiveDriver"/>
<beans:bean id="hiveDataSource" class="org.springframework.jdbc.datasource.SimpleDriverDataSource">
	<beans:constructor-arg name="driver" ref="hiveDriver"/>
	<beans:constructor-arg name="url" value="jdbc:hive2://:10000"/>
</beans:bean>

如果您在代码中直接使用了 org.apache.hadoop.hive.service.HiveClient,则需要切换到使用新的 org.springframework.data.hadoop.hive.HiveClient,它模仿了旧的基于 Thrift 的客户端,但使用 JDBC 驱动程序与 HiveServer2 进行通信。

您可以在此 提交 中查看我们在 Spring for Apache Hadoop Hive 示例 代码中所做的更改。

我们继续在 Spring IO 里程碑仓库中提供特定版本构件及其各自的传递依赖项

  • 2.3.0.M1 (默认 - Apache Hadoop 稳定版 2.7.1)
  • 2.3.0.M1-hadoop26 (Apache Hadoop 2.6.0)
  • 2.3.0.M1-phd30 (Pivotal HD 3.0)
  • 2.3.0.M1-cdh5 (Cloudera CDH 5.4)
  • 2.3.0.M1-hdp23 (Hortonworks HDP 2.3)

请提供反馈,以便我们优先处理计划于 2.3 版本中推出 (请参阅之前的 博文 以获取列表) 的新功能以及任何额外的功能请求。您可以使用 JIRA 问题或 GitHub 问题 (请参阅项目页面上的链接)。

项目页面位于 - http://projects.spring.io/spring-hadoop/

获取 Spring 新闻通讯

通过 Spring 新闻通讯保持联系

订阅

领先一步

VMware 提供培训和认证,助您加速进步。

了解更多

获得支持

Tanzu Spring 提供 OpenJDK™、Spring 和 Apache Tomcat® 的支持和二进制文件,只需一份简单的订阅。

了解更多

即将举行的活动

查看 Spring 社区所有即将举行的活动。

查看所有