Apache Hadoop 2.3里程碑版本1发布

发布 | Thomas Risberg | 2015年8月4日 | ...

我们很高兴地宣布Spring for Apache Hadoop 2.3 M1里程碑版本发布。

Spring for Apache Hadoop 2.3 M1版本中最重要的增强功能

  • 将Hadoop 2.7.1作为默认版本
  • 支持HDP 2.3和CDH 5.4.4
  • 错误修复:修复追加重新打开可能失败的问题 SHDP-510
  • 更好的启动支持:支持启动配置属性元数据 SHDP-452
  • 支持Hive 1.x和HiveServer2

查看发布变更日志以获取详细信息。

为了能够使用Hive 1.x(已放弃对HiveServer1和相应的Thrift客户端的支持),我们不得不重写Spring for Apache Hadoop中的Hive支持。我们现在使用JDBC客户端支持HiveServer2,对于大多数常见用途,您只需更改客户端配置以使用hiveDataSource即可。这是一个示例

<hive-client-factory id="hiveClientFactory" hive-data-source-ref="hiveDataSource"/>
<beans:bean id="hiveDriver" class="org.apache.hive.jdbc.HiveDriver"/>
<beans:bean id="hiveDataSource" class="org.springframework.jdbc.datasource.SimpleDriverDataSource">
	<beans:constructor-arg name="driver" ref="hiveDriver"/>
	<beans:constructor-arg name="url" value="jdbc:hive2://127.0.0.1:10000"/>
</beans:bean>

如果您在代码中直接使用org.apache.hadoop.hive.service.HiveClient,则需要切换到使用新的org.springframework.data.hadoop.hive.HiveClient,它模拟旧的基于Thrift的客户端,但使用JDBC驱动程序与HiveServer2通信。

我们在Spring for Apache Hadoop Hive示例代码中所做的更改可以在此提交中看到。

我们继续在Spring IO里程碑存储库中提供具有各自传递依赖项的特定版本工件

  • 2.3.0.M1(默认 - Apache Hadoop稳定版2.7.1)
  • 2.3.0.M1-hadoop26(Apache Hadoop 2.6.0)
  • 2.3.0.M1-phd30(Pivotal HD 3.0)
  • 2.3.0.M1-cdh5(Cloudera CDH 5.4)
  • 2.3.0.M1-hdp23(Hortonworks HDP 2.3)

请提供反馈,以便我们能够优先考虑计划用于2.3的新功能的工作(请参阅之前的博文以获取列表)以及任何其他功能请求。您可以使用JIRA问题或GitHub问题(请参阅项目页面以获取链接)。

项目页面位于 - http://projects.spring.io/spring-hadoop/

获取Spring时事通讯

与Spring时事通讯保持联系

订阅

领先一步

VMware提供培训和认证,以加速您的进步。

了解更多

获得支持

Tanzu Spring在一个简单的订阅中提供对OpenJDK™、Spring和Apache Tomcat®的支持和二进制文件。

了解更多

即将举行的活动

查看Spring社区中所有即将举行的活动。

查看全部