Spring for Apache Hadoop 1.0.0 M2 亮点

工程 | Costin Leau | 2012年6月13日 | ...

我很高兴地宣布 Spring for Apache Hadoop 项目的第二个里程碑版本 (1.0.0.M2) 可用。在这篇博文中,我想快速强调 M2 中的主要新功能。

HBase DAO 支持

Spring Framework 中最通用和最强大的功能之一是数据访问对象(或 DAO)支持。通过 Spring for Hadoop 1.0.0 M2,HBase 也添加了相同的功能。流行的模板和回调模式的用户会感到宾至如归,因为该框架处理表查找、资源清理和异常转换,让开发人员专注于真正重要的事情。有关更多信息,请参阅 API 和参考文档。顺便说一下,我们还在发行版中包含了一个新示例,hbase-crud,以帮助您立即开始。

级联 Taps

在 M2 中,我们通过Cascading 库,扩展了与 Tap 的集成。Spring Integration 适配器的丰富性(无论是入站还是出站),例如文件、TCP、Twitter、FTP、RSS(仅举几例),现在可用于 Cascading(及其扩展,例如 CascalogScalding)。我们才刚刚开始——预计在这方面会有更多消息。

Hadoop 安全

通过 M2,从普通的 Hadoop 安装(例如开发机器)迁移到完全 Kerberos 安全的 Hadoop 集群是透明的。文件系统、Map/Reduce 和 Pig 组件都具有安全意识,在适当的凭证下执行并支持用户模拟。有关更多信息,请参阅专用章节

增强的普通 Map/Reduce 支持

自诞生以来,Spring for Apache Hadoop 为 Map/Reduce 作业提供了广泛的支持——无论是原始的还是传统的 Java Map/Reduce、streaming 还是 工具。在 M2 中,我们增加了对 Hadoop 通用选项的全面支持,使得作业配置,无论是通过单独命名资源还是通过模式匹配,都可以在一行代码中完成。此外,我们增强了基于 jar 的作业的引导——不再要求类位于 classpath 上,作业可以从 jar 中完全隔离地加载。这些类(及其依赖项)不会“泄漏”到应用程序中,从而避免了各种版本冲突和依赖项“蔓延”。工具声明也得到了改进,可以自动读取 Jar 元数据及其 Main-Class,为 Hadoop shell 提供了强大、完全托管的 替代方案jar调用提供了强大、完全托管的替代方案

两个新示例

最后但同样重要的是,发行版中添加了两个新示例hbase-crud,我之前提到过,它们展示了声明式和编程式 HBase 支持以及pig-scripting,演示了 JVM 和 Pig 脚本:前者在 HDFS 中进行数据准备,后者进行数据分析。还有更多的示例正在开发中,如果您想看到任何特定的内容,请告诉我们

我希望您喜欢这个新的里程碑。赶快下载 1.0.0 M2,试用一下,让我们知道您的想法!

其他新闻:Serengeti 项目

就新版本而言,Spring for Apache Hadoop 1.0.0 M2 并非 Hadoop 领域唯一的新闻。今天,VMware 揭开了 Serengeti 项目的面纱,该项目旨在实现虚拟化和高可用的 Hadoop。请参阅 Richard McDougall 的博客文章,了解其背后的动机、当前状态和路线图。

获取 Spring 新闻通讯

通过 Spring 新闻通讯保持联系

订阅

领先一步

VMware 提供培训和认证,助您加速进步。

了解更多

获得支持

Tanzu Spring 提供 OpenJDK™、Spring 和 Apache Tomcat® 的支持和二进制文件,只需一份简单的订阅。

了解更多

即将举行的活动

查看 Spring 社区所有即将举行的活动。

查看所有