Spring for Apache Hadoop 2.3 Milestone 1 发布

发布 | Thomas Risberg | 2015 年 8 月 4 日 | ...

我们很高兴地宣布 Spring for Apache Hadoop 2.3 M1 里程碑版本发布。

Spring for Apache Hadoop 2.3 M1 版本中最重要的增强功能

  • 添加 Hadoop 2.7.1 作为默认版本
  • 添加对 HDP 2.3 和 CDH 5.4.4 的支持
  • Bug 修复:修复了追加重新打开可能失败的问题 SHDP-510
  • 更好的引导支持:支持引导配置属性元数据 SHDP-452
  • 添加对 Hive 1.x 和 HiveServer2 的支持

有关详细信息,请参阅发布变更日志

为了能够使用 Hive 1.x,它放弃了对 HiveServer1 和相应的 Thrift 客户端的支持,我们不得不在 Spring for Apache Hadoop 中重写 Hive 支持。 我们现在使用 JDBC 客户端支持 HiveServer2,对于最常见的用途,您只需要更改客户端配置以使用 hiveDataSource。 这是一个例子

<hive-client-factory id="hiveClientFactory" hive-data-source-ref="hiveDataSource"/>
<beans:bean id="hiveDriver" class="org.apache.hive.jdbc.HiveDriver"/>
<beans:bean id="hiveDataSource" class="org.springframework.jdbc.datasource.SimpleDriverDataSource">
	<beans:constructor-arg name="driver" ref="hiveDriver"/>
	<beans:constructor-arg name="url" value="jdbc:hive2://localhost:10000"/>
</beans:bean>

如果您在代码中直接使用了org.apache.hadoop.hive.service.HiveClient,则需要切换到使用新的org.springframework.data.hadoop.hive.HiveClient,它模仿了旧的基于 Thrift 的客户端,但使用 JDBC 驱动程序与 HiveServer2 通信。

我们对 Spring for Apache Hadoop Hive 示例代码所做的更改可以在这个 commit 中看到。

我们继续在 Spring IO 里程碑存储库中提供具有各自传递依赖项的版本特定工件

  • 2.3.0.M1(默认 - Apache Hadoop 稳定版 2.7.1)
  • 2.3.0.M1-hadoop26(Apache Hadoop 2.6.0)
  • 2.3.0.M1-phd30 (Pivotal HD 3.0)
  • 2.3.0.M1-cdh5 (Cloudera CDH 5.4)
  • 2.3.0.M1-hdp23 (Hortonworks HDP 2.3)

请提供反馈,以便我们可以确定计划于 2.3 的新功能(有关列表,请参阅之前的博客文章)和任何其他功能请求。 您可以使用 JIRA 问题或 GitHub 问题(请参阅项目页面以获取链接)。

项目页面位于 - http://projects.spring.io/spring-hadoop/

获取 Spring 新闻邮件

通过 Spring 新闻邮件保持联系

订阅

抢先一步

VMware 提供培训和认证,以加速您的进步。

了解更多

获取支持

Tanzu Spring 在一个简单的订阅中提供对 OpenJDK™、Spring 和 Apache Tomcat® 的支持和二进制文件。

了解更多

即将举行的活动

查看 Spring 社区中所有即将举行的活动。

查看全部